角色扮演AI系統(tǒng)體現(xiàn)了數(shù)字生命的理念，通過交互形式將不同角色帶入現(xiàn)實(shí)。這些系統(tǒng)模擬指定角色的能力，長期以來一直存在于人類想象中，體現(xiàn)了我們創(chuàng)造和與具有智能的人工生命互動的渴望。

近期，得益于GPT-4、LLaMA等大語言模型（LLMs）的突破性進(jìn)展，基于文本的角色扮演AI（Role-Playing Language Agents，RPLAs）正在從科幻走進(jìn)現(xiàn)實(shí)。

研究表明，當(dāng)前的LLMs已經(jīng)能夠產(chǎn)生令人信服的擬人效果，并可以被視為不同信念和人格的疊加態(tài)。通過對齊訓(xùn)練，它們能夠遵循角色扮演指令，復(fù)制角色的知識儲備，模仿語言和行為模式，甚至重現(xiàn)深層的性格特征。

來自復(fù)旦大學(xué)等機(jī)構(gòu)的研究人員發(fā)表了一篇綜述，提出了RPLAs的三層人格分類框架，按照個性化程度的遞進(jìn)，將RPLAs的人格類型分為群體人格、角色人格和個性化人格。

論文鏈接：https://arxiv.org/abs/2404.18231

群體人格關(guān)注具有共同特征的人群，如職業(yè)、種族、性格類型等，內(nèi)置于LLMs中，角色扮演主要利用LLMs中的統(tǒng)計(jì)特征，通過簡單提示詞即可激活。

角色人格則代表廣為人知的具體個體，特別是現(xiàn)有文獻(xiàn)中的角色，包括名人、歷史人物和虛構(gòu)角色，這類人格考驗(yàn)?zāi)Ｐ屠斫夂瓦\(yùn)用已有角色數(shù)據(jù)的能力。

個性化人格是基于個性化用戶數(shù)據(jù)構(gòu)建并持續(xù)更新的數(shù)字檔案，強(qiáng)調(diào)個人獨(dú)特的經(jīng)歷、需求和偏好，主要用于數(shù)字分身或個人助理等應(yīng)用。

值得注意的是，這三類人格并非相互獨(dú)立，而是可以在RPLAs中共存。

比如說，一個扮演蘇格拉底擔(dān)任個人哲學(xué)導(dǎo)師的RPLA就同時包含了古希臘哲學(xué)家的群體人格、蘇格拉底的角色人格，以及通過與用戶互動發(fā)展的個性化人格。

這種多層次的人格整合，使得RPLAs能夠在保持角色本真性的同時，提供更加個性化的互動體驗(yàn)。

在技術(shù)實(shí)現(xiàn)層面，研究團(tuán)隊(duì)深入分析了RPLAs的構(gòu)建方法。RPLAs通過人格數(shù)據(jù)來模擬復(fù)雜的人格，這些數(shù)據(jù)包括描述、畫像、對話、歷史行為記錄以及書籍原文等文本材料。目前主要有兩類構(gòu)建方法：參數(shù)化訓(xùn)練和非參數(shù)化提示。

參數(shù)化訓(xùn)練主要包括預(yù)訓(xùn)練、監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)三個階段。

首先，模型在包含文學(xué)作品和百科全書等大規(guī)模原始文本上進(jìn)行預(yù)訓(xùn)練，這使其獲得了大量社會群體和角色人格的基礎(chǔ)知識。

隨后，模型在角色扮演數(shù)據(jù)集上進(jìn)行監(jiān)督微調(diào)，增強(qiáng)其角色扮演能力和特定角色知識。

此外，強(qiáng)化學(xué)習(xí)方法可以進(jìn)一步優(yōu)化RPLAs在多個方面的表現(xiàn)，包括:與普通用戶的對齊（如提高吸引力或減少有害內(nèi)容）、改進(jìn)社交推理能力（如在游戲或目標(biāo)導(dǎo)向?qū)υ捴械谋憩F(xiàn)），以及與個別用戶的對齊。

非參數(shù)化提示則在上下文中提供人格數(shù)據(jù)和角色扮演指令。人格數(shù)據(jù)主要包括描述（Descriptions）和展示（Demonstrations）兩部分：描述部分主要包含姓名、背景、經(jīng)歷、性格、語氣等基本信息；示范部分則展示代表性的對話、行為、互動和偏好等。

獲取這些人格數(shù)據(jù)的方法包括:在線資源收集（如從維基百科等獲取知名角色信息）、自動提?。ㄓ肔LM從書籍等材料中提取對話）、對話合成（用更強(qiáng)的LLM創(chuàng)建和擴(kuò)展角色扮演對話數(shù)據(jù)集）以及人工標(biāo)注（由標(biāo)注者或角色粉絲創(chuàng)作高質(zhì)量的角色扮演對話）。

此外，現(xiàn)代RPLAs還越來越多地集成記憶模塊，以從大量角色特征數(shù)據(jù)或過往互動中檢索信息加入到上下文中。

在評估體系方面，研究團(tuán)隊(duì)將評估標(biāo)準(zhǔn)分為兩大類：角色扮演能力評估（Role-Playing Capability）和人格還原度評估（Persona Fidelity）。

角色扮演能力評估針對RPLA的基礎(chǔ)模型和構(gòu)建框架，不考慮具體角色，主要關(guān)注擬人能力、吸引力和實(shí)用性等方面，具體包括對話能力、投入度、人格一致性、情感理解、心智理論和問題解決能力等維度。

人格還原度評估則聚焦于特定人格的RPLA是否很好地復(fù)制了目標(biāo)人格的特點(diǎn)，包括知識、語言習(xí)慣、性格、信念和決策方式等方面。

模型評估

目前評估方法主要有四類：基于標(biāo)準(zhǔn)答案的自動評估、無標(biāo)準(zhǔn)答案的自動評估、多選題評估和人工評估。

在這些評估方法中，人工評估成本高昂，費(fèi)時費(fèi)力；自動評估往往基于LLM-as-a-judge，即使用LLM對RPLA的表現(xiàn)進(jìn)行評判，這類評估方法受制于LLM的角色知識不足和多種評估偏見問題，評估效果并不理想；多選題評估的數(shù)據(jù)集構(gòu)造則較為困難，同時與RPLA的真實(shí)應(yīng)用場景存在差異。因此，對RPLA的精準(zhǔn)評估仍是一個開放性問題。

在這篇綜述中，研究團(tuán)隊(duì)對RPLAs領(lǐng)域的現(xiàn)有文獻(xiàn)進(jìn)行了系統(tǒng)性梳理，建立了相關(guān)方法論的分類體系。同時，作者們還全面整理了當(dāng)前可用的評估基準(zhǔn)數(shù)據(jù)集，包括其數(shù)據(jù)類型、規(guī)模、來源和評估指標(biāo)等關(guān)鍵信息，為未來的研究工作提供了重要參考。

盡管RPLAs已展現(xiàn)出令人振奮的發(fā)展前景，但仍面臨諸多挑戰(zhàn)。

如何構(gòu)建更全面的角色數(shù)據(jù)集、如何實(shí)現(xiàn)更精準(zhǔn)的評估方法、如何平衡真實(shí)性與安全性，以及如何處理持續(xù)交互中的角色演變，都是亟待解決的問題。

隨著技術(shù)的進(jìn)步，培育人類與智能體協(xié)同共存的社會生態(tài)將成為重要方向。這不僅將改變?nèi)藱C(jī)交互的方式，更將推動數(shù)字生命這一人類長期追求的實(shí)現(xiàn)。

作者介紹

該綜述項(xiàng)目由復(fù)旦大學(xué)王鑫濤發(fā)起，陳江捷、王鑫濤、徐銳策劃并聯(lián)合課題組同學(xué)共同完成。

王鑫濤，復(fù)旦計(jì)算機(jī)系博士生，重度二次元愛好者，業(yè)余cosplayer，致力于用AI研究創(chuàng)造更c(diǎn)ool的二次元應(yīng)用。他的研究興趣主要集中在大語言模型、Agent、AI角色扮演等領(lǐng)域。