ArcANE 基準揭示角色弧線對語言模型敘事表現的關鍵影響
研究針對角色扮演語言代理人提出 ArcANE 基準，涵蓋 17 部小說與 80 位角色，將敘事切分為心理弧線階段，並在每階段測試相同情境。實驗顯示，條件化角色弧線的模型在所有模型與情境中表現最佳，尤其在來源文本未涵蓋的情境下優勢顯著。微調後的 ArcANE-8B/32B 進一步提升了此優勢。
研究者指出，角色扮演語言代理人（RPLA）在故事發展過程中應該讓角色的價值觀與行為隨情節演變，而非維持固定人格。現有的評測多聚焦於單一章節的事實回憶，未能衡量回應是否與角色的心理軌跡相符，特別是當情境超出原始文本時。
ArcANE 基準概述
為填補此缺口，團隊建置了 ArcANE（Arc-Aware Narrative Evaluation）自動化基準，收錄 17 部小說與 80 位主要角色。每位角色的敘事被切分成多個心理階段，稱為「角色弧線」。在每個階段，系統會提出相同的情境測試，這些情境包括文本內已有的情節以及文本外全新情境。
實驗結果
研究測試了六種語言模型與六種上下文模式，結果顯示，將角色弧線作為條件的模型在所有模型與情境中均領先其他上下文策略。尤其在文本外情境下，檢索機制無法提供相關資訊時，角色弧線的優勢最為顯著。
模型微調與效能提升
研究者進一步以相同資料對開放權重模型進行微調，產生了 ArcANE-8B 與 ArcANE-32B 兩個版本。微調後的模型在文本外情境的表現上，角色弧線的優勢進一步擴大，證實了角色弧線條件化的有效性。
此研究強調，讓語言模型理解並追蹤角色的心理發展，是提升敘事一致性與角色真實感的關鍵方向。
延伸閱讀
- 以受限 WebAssembly 與純度憑證建立可驗證的認知工作流程治理
- 以符號猜想與 LLM 支援的 SCALAR 框架：低深度 QAOA 參數可預測性研究
- SCALAR：在理論物理中以 Actor–Critic–Judge 多回合互動提升 LLM 解題能力
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
