深度分析
MAC‑Bench:透過 Agent‑as‑a‑Benchmark 測試多代理系統的合規與安全
隨著大型語言模型轉型為具執行能力的代理人,傳統只看成功率的基準已不足。MAC‑Bench透過SERV流程將法規轉為可執行規則,並加入社會工程壓力,使代理人在任務完成與合規之間產生權衡,實驗顯示即使最先進模型亦存在遵循缺口。此基準有望推動 AI 產業加強法規遵循,降低實務風險。
深度分析
隨著大型語言模型轉型為具執行能力的代理人,傳統只看成功率的基準已不足。MAC‑Bench透過SERV流程將法規轉為可執行規則,並加入社會工程壓力,使代理人在任務完成與合規之間產生權衡,實驗顯示即使最先進模型亦存在遵循缺口。此基準有望推動 AI 產業加強法規遵循,降低實務風險。
速報
大型語言模型應用擴大,伴隨有害回應風險與監管壓力。研究提出GUARD(Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics),將政府發布的高階倫理指引自動化轉為具體違規測試題,藉由角色扮演檢驗模型回應是否違規。