語言模型 - Agents Report

速報

研究指出，語言模型的參數會在輸出 logits 時留下獨特的幾何約束，成為模型的簽章。即使 API 僅提供 token 排名（不含機率值），每個模型仍會產生唯一的可行 top‑k 排名集合，且要找出具相同排名集合的模型屬於 NP 難問題，具備多項式時間不可偽造性。

速報

研究聚焦於語言模型在面對未知實體時的幻覺問題，特別是線性關係的影響。研究者以合成未知實體基準 SyntHal 測試四種指令微調模型，發現線性關係與模型產生虛構答案的機率高度相關，相關係數介於 0.58 至 0.84。結果顯示，非線性關係較不易引發幻覺，提供未來模型設計的方向。

深度分析

傳統DPI無法檢測TLS1.3與QUIC加密流量，研究以RWKV狀態空間模型將L3/L4封包元資料視為語言語法，透過無標籤預訓練與異常感測，達到0.93PR‑AUC的攻擊偵測，且能即時逐封包處理，對加密協議保持中立。此技術展示了預訓練模型在資安領域的潛力，並挑戰傳統簽名式入侵偵測的既定框架。

速報

研究探討在不使用提示、教師或獎勵模型的情況下，語言模型能否僅透過自我生成的純文字資料進行自我訓練。結果顯示，合成語料的效用取決於資料與模型之間的相容性，而非資料本身的固有品質。相同系列的模型間轉移效果最佳，跨系列則顯著較弱。傳統的語意相似度或平均機率指標無法預測哪類語料有助於提升模型表現。

速報

研究針對語言模型產出的長推理痕跡是否過度冗長。作者提出「最小核心」概念，透過壓縮比、冗餘質量等指標，抽出保存答案或預測分布的最少步驟。結果顯示平均可刪除46%步驟且86%情況保留原答案，核心三步貢獻65%必要性。此外最小核心在區分正誤痕跡、降維與跨模型移轉上也有明顯改善。

速報

研究背景：先前論文將神經語言模型視為支持使用導向、漸進語言理論的證據。核心做法：本文指出語言模型亦能實作基於形式結構的理論，即生成語法傳統中的形式化表述，並示範如何用模型檢驗這類假說。主要影響：這擴展了可用語言模型測試的理論範圍，有助於尋找使用導向與生成論的調和路徑。

深度分析

本研究問是否能僅憑本地二進位差異，由語言模型代理人重建修補的安全意義。系統用Ghidra/Ghidriff比對函式、排名候選檔案，並在受限環境執行舊/新行為驗證以形成審核。在25個案例中，代理人定位並驗證關鍵修補函式的成果有限，主要瓶頸在差異覆蓋與本地驗證能力。

速報

機器人在回應「我把鑰匙放哪？」或說明任務失敗原因時，需口語化過往經驗，但持續多模態感知會讓情節記憶暴增，影響儲存與即時查詢。H^2-EMV提出透過使用者互動學習要記什麼：系統以分層的情節記憶架構儲存資訊，採語言模型評估相關性執行選擇性遺忘，並根據使用者回饋更新自然語言規則。

深度分析

Subquadratic宣布具備12百萬標記的超大上下文視窗，代表模型能在單次輸入中處理遠超過常規長度的文本。這種做法可能減少對分段、檢索輔助的依賴，並改寫長篇推理、程式碼分析與多文件協同的應用設計。但更長的視窗也會帶來推理成本、延遲與部署複雜度的挑戰。

速報

研究結合語言模型與符號抽象，讓機械連桿的拓撲選擇與參數調整同步優化。模型在離散拓撲探索與連續參數優化之間切換，透過提升運算子將模擬軌跡轉為動作標籤與結構診斷，支援多輪迭代設計。

深度分析

本研究提出自適應字典嵌入（ADE），透過詞彙投影、分組位置編碼與上下文感知錨點重加權，將多錨點表示擴展至大型語言模型，核心將兩階段查找合併為單一矩陣運算並利用自注意力動態組合錨點，實驗顯示在DBpedia-14上以98.06%超越DeBERTa，且嵌入層壓縮逾40倍。

深度分析

研究發現語言模型在自然語言預訓練中會出現數字的週期性表示。本文指出透過傅立葉頻譜能看到明顯周期性尖峰，但這些頻譜不保證數字餘數類別可線性分離。實驗顯示資料的共現結構、模型架構、優化器與分詞策略共同決定是否出現可用於模數分類的幾何特徵。這影響數字處理與模型可解釋性的研究方向。