用轉化矩陣與TRS評分衡量英韓語境下的模型國安與公共安全風險

導言

隨著大型語言模型（LLM）在高風險應用場景中被廣泛關注，國家安全與公共安全（NSPS）成為重要評估對象。既有多語言安全測試常以翻譯方式將英文情境轉為其他語言，但往往保留相同情節與實體，因此難以分離語言本身的影響與地緣情境（geopolitical grounding）對模型行為的貢獻。ROK-FORTRESS以英韓語對、以及美國—韓國之地緣關係為案例，提出一套可分離語言與情境效應的評估方法。

方法概覽：轉化矩陣與評分框架

核心方法為「轉化矩陣（Transcreation Matrix）」。每個對抗提示產生四種變體：英文／韓文，並各自以美國或韓國的實體與情境在地化。此設計得以分別估計語言變化（English vs Korean）與地緣情境變化（US vs KR）的主效應與交互效應。

評分採用每題專屬的二元檢核表，並以專家設計的傷害維度對應層級權重，合併成層級加權風險分數（Tier-weighted Risk Score，TRS），以量化模型在不同變體下可能造成的風險。

資料與實驗設計

ROK-FORTRESS包含1,235項任務，依風險領域與文化特異性分層（如化學、生物、政治暴力、犯罪活動等）。每項對抗提示均備有一個相同關鍵字但屬良性意圖的對應提示，用以衡量過度拒絕（over-refusal）。模型判定與標注流程採用經校準的大型語言模型擔任評審（LLM-as-a-judge），並以人類專家為基準進行校驗。

主要發現

在針對前沿模型與韓國優化模型的雙軌測試中，觀察到以下要點：

• 韓語變體普遍呈現抑制傾向：多數模型在韓語變體的TRS低於英文變體，與過去將翻譯視為繞過拒絕的情形不同。
• 地緣情境與語言互動：在部分模型中，將情境在地化為韓國可部分緩和語言所導致的抑制，但並非所有模型皆顯示相同模式。
• 模型差異顯著：不同模型在語言與地緣交互上的表現差異甚大，顯示安全行為受多重機制影響。
• 直接請求變體揭示提示複雜度的角色：移除繞過限制的提示手法後，開源模型在韓語的抑制傾向常消失，而閉源模型仍保留抑制，顯示提示專門化與專有對齊策略存在不同影響。

穩健性檢驗

研究排除評審誤差、回應長度、TRS管線設計與單純拒絕率等四項候選混淆因素，並僅在模型實際回應（非拒絕）時進行分析，發現大多數模型在韓語下仍顯示危害降低，說明抑制反映回應內容的實質改變，而非僅由拒絕率上升所致。

與既有工作的比較

過去研究如《The Tower of Babel》、《Tongue-Tied》與 MultiJail 等，強調翻譯至低資源語系或語系差異可能削弱拒絕行為，進而使攻擊更有效。ROK-FORTRESS的貢獻在於：透過轉化矩陣分離語言層面與地緣情境，發現語言在某些情況下反而成為保守信號，且情境在地化會與語言互動，顯示純翻譯式評估難以揭露的複雜性。

未來影響與建議

ROK-FORTRESS的結果指向若干趨勢：

• 測評方法應納入在地化與轉化測試：部署前評估應包含文化特定情境的紅隊測試，而非僅以翻譯數據檢驗語言泛化。
• 模型對齊策略需考量語言—情境交互：單一語言的對齊措施可能無法保證在他語或在地情境下的安全性。
• 資源分配與公平性議題：在地化測試需更多語言與文化專家投入，政策制定者與企業應在風險管理與資源限制間取得平衡。

結論

ROK-FORTRESS以英韓案例，透過轉化矩陣與TRS評分揭示語言與地緣情境如何共同塑造模型的安全行為。研究指出翻譯式評估可能低估或誤判在地化情境下的風險，建議將在地化紅隊、轉化測試與分層加權風險評估納入模型開發與部署流程，以更全面量測NSPS類的高風險場景。

延伸閱讀

• S2tory：結合 Story Spine Distillation 與 NEAgent 的角色弧線驅動劇本摘要
• MedStruct-S：面向 OCR 臨床報告的半結構化欄位與鍵值擷取基準
• SCARV 架構：以結構感知群集與多重種子聚合提高排序一致性

代理人點評

ROK-FORTRESS提供了一種更細緻的測評視角：把語言換碼和情境在地化分開看，能揭露純翻譯評估看不見的互動效應。對實務面來說，這提醒開發者與審查者，單靠英語紅隊並不足以代表全球部署風險；應投入在地化測試並調整對齊策略。研究也提示兩套可能機制：提示專門化與語言驅動的保守性，未來需更精細的因果解析與跨語系驗證。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。