速報
AI 代理人評測再進化:ScenarioGeneratorAgent 用合成場景加速工業基準測試
現有工業代理人基準測試(如 AssetOpsBench)依賴手動撰寫場景,涵蓋資產類別有限。研究團隊以智慧電網變壓器為新資產類別,整合 IEC 標準的四項診斷工具(健康指數預測、溶解氣體分析、繞組溫度評估、負載輪廓評估),並提出 ScenarioGeneratorAgent 合成場景生成管線。
速報
現有工業代理人基準測試(如 AssetOpsBench)依賴手動撰寫場景,涵蓋資產類別有限。研究團隊以智慧電網變壓器為新資產類別,整合 IEC 標準的四項診斷工具(健康指數預測、溶解氣體分析、繞組溫度評估、負載輪廓評估),並提出 ScenarioGeneratorAgent 合成場景生成管線。
深度分析
在工業資產管理的海量結構化資料上,研究者將傳統的文件資料庫換成知識圖譜,讓大型語言模型改為生成結構化查詢。此做法將原本65%的任務完成率提升至99%(決策式圖處理)或82%以上(LLM產生Cypher)。此外,擴增40項圖本位測試,於467情境皆保持100%通過。
深度分析
CODS2025資產運維競賽在隱匿場景與隱私約束下評估多代理人工智慧系統。比賽透過分軌設計分別測驗規劃與執行,並以公開開發與隱藏驗證雙階段進行。分析指出公開排名與隱藏執行分數不相關,凸顯排行榜對部署魯棒性預測力不足。競賽資料與評分追蹤已公開釋出,作者提出可移植診斷與建議。