DFAH-Bench 新基準揭密：AI 金融代理人表面決策一致，內部行為卻大相徑庭
一項來自 ArXiv 的研究指出，現行評估標準僅關注 AI 代理人的最終決策是否一致，卻忽略了其決策過程的穩定性。研究團隊推出 DFAH-Bench，這是一個透過重播（replay）來評估金融代理人行為穩定性的新基準。該基準從工具呼叫軌跡、證據接觸點與決策集中度三個面向，衡量代理人的行為是否一致，且無需讀取內部推理文字。
AI 代理人真的像表面上看起來那麼可靠嗎？一項來自 ArXiv 的最新研究指出，現行的標準評估基準只關心工具型 AI 代理人做了什麼決定，卻沒有追問它是不是每次都透過同樣的流程做出決定。這個盲點，可能讓我們對 AI 的穩定性產生誤判。
DFAH-Bench：用重播看穿決策過程
為了解決這個問題，研究團隊推出了 DFAH-Bench。這是一個全新的重播（replay）基準，專門用來評估金融 AI 代理人在決策過程中的行為不穩定性。它從三個面向進行衡量：工具呼叫軌跡（tool-call trajectories）、證據接觸點（evidence contacts）以及決策集中度（decision concentration）。最關鍵的是，這些評估完全不需要讀取 AI 模型內部的隱藏推理文字。
驚人發現：結果一致不代表過程一致
研究團隊在 10 個模型與 3 項金融任務上，進行了總計 8,127 次的重播測試。結果顯示，僅看最終決策的一致性，是一個不完整的穩定性訊號。數據指出，前沿模型（frontier models）雖然有 95% 的時間會做出相同的決定，但在這些案例中，它們遵循相同工具路徑的比例卻只有 77%。兩者之間存在高達 18 個百分點的落差（95% 信賴區間：[0.14, 0.22]），而這個問題，是只看結果的評估方式完全無法發現的。
更進一步分析發現，在那些決策高度一致的前沿模型案例群組中，有超過 55% 的案例存在有意義的軌跡分歧。
三種 AI 行為模式
研究團隊根據這些行為差異，歸納出三種 AI 代理人的行為模式：
- 模式匹配者（Pattern Matchers）：這類代理人不論輸入為何，幾乎都輸出單一結果，以此達到近乎完美的決策一致性，但缺乏真正的應變能力。
- 穩定執行者（Stable Executors）：擁有相對一致的工具使用流程，行為最為可靠。
- 軌跡分歧者（Trajectory Divergers）：雖然最終結論相同，但會透過截然不同的工具路徑與證據接觸點來達成目的。
這項研究凸顯了現有評估方法的不足，也為未來開發更可靠、更透明的 AI 代理人提供了重要的方向。相關的基準程式碼、指標腳本、重播日誌等資源，都已公開在專屬的儲存庫中。
延伸閱讀
- PCAS：以依賴圖與 Datalog 宣告式政策實現確定性授權編譯器
- DIBA：以行為位移揭露 RLVR 下的成員推斷風險
- LaTeXpOsEd：以 LaTeX 源檔、模式比對與大型語言模型評估預印本的資安風險
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
