CNSL-bench：首個中文多模態手語理解基準揭示多模態大模型弱點
手語研究受大型語言模型推動而進展，但模型理解手語的固有能力仍不足。本研究提出CNSL-bench，一個以國家標準手語詞典為基礎、包含文字說明、示意圖與手語影片的中文多模態基準庫。實驗評估多款多模態大模型，結果顯示現有模型與人類表現仍有顯著差距，且不同輸入模態與手勢形式呈系統性弱勢。
CNSL-bench：衡量多模態大模型的中文手語理解
手語研究因大型語言模型取得進展，但模型在多模態情境下理解手語的能力仍不明朗。本文介紹CNSL-bench，一個以國家通用手語詞典為權威依據、專為評估多模態大模型手語理解而設的中文基準。
該基準整合文字描述、示意圖片與手語影片，並細分手部構式，包括空中書寫、指拼與中文手語字母，方便對模型在不同表徵與輸入模態下做精細診斷。
研究團隊利用CNSL-bench評估21款開源與商業的多模態大模型。結果指出，雖然近年多模態建模有所進步，但現有模型整體仍顯著落後人類，且在不同輸入模態與手勢類型上出現系統性差距；此外，模型在指令追隨的穩定性也有顯著差異。
作者進一步的診斷分析表明，僅靠提升推理或指令遵循能力無法完全彌補這些缺陷，未來研究應更聚焦於多模態對齊與手勢表徵學習，以縮小模型與人類之間的差距。
延伸閱讀
- KoALa‑Bench：衡量韓語語音忠實度與長訊息定位的大型音訊語言模型基準
- UAF（Unified Audio Front-end LLM）：以統一音訊前端實現低延遲全雙工語音互動
- DASB 基準：語義代幣、壓縮代幣與混合代幣的效能比較
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
