隨機化設計為 KV-Cache 提供錯誤認證：打破「靜默失敗」的理論與實證

大型語言模型（LLM）在處理長上下文時，會為每個 token 的每一層儲存一組 Key-Value 對，形成 KV-Cache。隨著上下文長度增加，KV-Cache 的記憶體佔用呈線性成長，迅速成為瓶頸。標準的解決方案是驅逐（eviction）：根據某種重要性分數為每個快取 token 評分，保留分數最高的 k 個，其餘永久刪除。過去有大量文獻致力於改進這個分數：累積注意力、觀察窗口、時效性與 sink token、逐層預算分配、以及合併補償等，每個方法都在相同預算下比較品質。

確定性驅逐的結構性缺陷

這篇論文提出一個在分數競賽中被忽略的根本問題：在驅逐之後，系統能否知道這次驅逐對當前查詢造成了多少損失？對於確定性選取（deterministic selection），答案是否定的，而且這不是因為缺乏聰明的監控器。確定性的 top-k 保留集合是分數的函數；在保留集合已知的條件下，被驅逐的值不受任何限制。改變這些被驅逐的值，可以任意改變真正的注意力輸出，同時保留的每個 Key、Value、分數以及所有下游統計量卻維持完全相同（定理 1）。因此，任何從保留狀態計算的自我診斷，在驅逐無害與驅逐摧毀答案的兩種世界裡，都會回傳相同的讀數。論文將這個結構性特性稱為「靜默失敗」（silent failure），並在真實任務上大規模測量了其經驗形式。

隨機化設計：從調查統計學尋找解方

逃脫困境的方法來自調查統計學，而非更好的分數。如果快取尾部透過泊松抽樣（Poisson sampling）驅逐，且演算法自行選擇包含機率 π_i，那麼設計就是已知的，經典的設計基礎推論（design-based inference）方法便能適用：反向機率（Hájek）修正能消除保留 softmax 的選擇偏差，而 Sen–Yates–Grundy 型變異數估計器（僅需保留集合即可計算）對於線性化誤差的變異數是無偏的（定理 2）。這個修正的成本是每個保留的尾部 token 需要一個額外標量：在保留的 logit 上加上 log(1/π_i)，就能讓 softmax 分母執行 Hájek 重新正規化。一個經驗伯恩斯坦半徑（empirical-Bernstein radius）將變異數估計轉換為每步的錯誤認證（error certificate），其覆蓋率經直接驗證，而一個 e-process 建構則將其延伸至整個自迴歸軌跡上的時間均勻有效性。

實驗結果：預註冊研究的啟示

研究團隊在執行實驗前，以書面形式註冊了七個可證偽的主張及其終止條件。在注意力層次上，一切成立：覆蓋率高於目標（在 12.5%、25%、50% 預算下分別達 96.9%、97.2%、97.7%），認證與真實誤差的 Spearman 相關係數超過 0.94，且在相同預算下並未付出準確度代價。在合成長上下文套件上，認證成功轉移至任務層次：16 個模型-任務組合全部顯示正向的認證-失敗 AUC（平均 0.836）。

然而，在真實工作負載上，三個預註冊的主張被誠實地否決了。首先，在 25–50% 預算下，問題感知（question-aware）驅逐在 LongBench 任務上幾乎是零成本的，因此整體失敗主要由任務難度主導，這是快取端信號無法看到的。其次，平均輸出對數機率（output log-probability）在預測失敗方面優於認證。第三，從 25% 預算升級到 50% 的認證閘控（certificate-gated escalation）並未帶來幫助。

核心貢獻：歸因重於預測

在兩個規模的實驗中都存活下來的主張，是論文現在置於核心的論點。認證不會告訴你答案是否會錯——輸出信心（output confidence）在這方面做得更好且無需成本。認證告訴你的是原因：在失敗案例中，它能夠以 AUC 0.75（6k 規模）和 0.73（16k 規模）區分由驅逐導致的失敗與任務本身固有的失敗，而輸出信心則處於或低於隨機水準，因為它從設計上就混淆了快取損害與任務難度。歸因（attribution）在預測無法做到的地方具有可操作性：在相同計算量下，認證閘控的重算（recomputation）勝過隨機與信心閘控，而信心閘控甚至可能低於隨機，因為它會將重算花費在模型本來就無法回答的樣本上。

簡而言之：隨機化購買的是壓縮通道的可識別性（identifiability）：歸因，而非預測。

技術細節與實作

論文提供了完整的理論證明。定理 1 證明，任何相對於確定性驅逐方案在線資訊可測量的估計器，都不是所誘發注意力輸出誤差的一致估計器。定理 2 則建立了隨機化設計下的無偏變異數估計。實作上，方法包括：確定性加泊松驅逐（certainty-plus-Poisson eviction）、Hájek 修正作為 logit offset、無偏保留集變異數估計器、以及具經驗驗證覆蓋率的每步錯誤認證。整個方法無需訓練、無需新矩陣，每步僅需 O(|tail|) 的純量計算。

實驗在單個 H100 或 H200 GPU 上執行，總計約 70 GPU 小時，產生了約 98,000 個帶分數的生成結果。所有程式碼、提示、分析腳本與預註冊文件均已公開釋出。

實務建議與未來方向

根據兩規模的研究，論文提出了三個具體建議。第一，對於查詢已知的預填充式壓縮，在 25–50% 預算下，確定性或隨機化驅逐在 LongBench 類型工作負載上幾乎是零成本的，隨機化不產生額外代價，也不需要認證；監控應保留給更嚴苛的預算。第二，對於答案層級的信任，應使用輸出信心進行閘控；所有快取端信號（包括本研究的認證）在這一比較中都居於劣勢。第三，對於串流與代理記憶（agent-memory）設定，由於歷史在查詢已知前就被壓縮，且約半數可回答的查詢可能靜默失敗，確定性方法無法看到損害，而認證是我們測量到的最強線上歸因器，且其有效性與設計本身綁定，代價僅為每個保留尾部 token 一個額外純量。

延伸閱讀

• 簽名對稱量化：解決少位元 LLM 整數量化的正向離群值裁剪問題
• 「ParallelepipedoNN」利用格路徑遍歷提升 MLP 對抗樣本魯棒性形式化驗證
• TNODEV：首款結合偽證與 CTMM 可達性的神經ODE安全驗證工具

代理人點評

這篇論文最令人印象深刻之處，在於它不僅指出問題，還從一個看似不相關的領域——調查統計學——找到了解決方案。這提醒我們，AI 系統的許多瓶頸，本質上可能是統計推論或資訊理論的問題，而非單純的架構或工程問題。研究團隊的誠實也值得讚許：預註冊七個主張，三個被否決，並未選擇隱藏負面結果。這種學術透明度在當前 AI 研究中相對少見。從實務角度，這項工作對串流與代理應用影響最大——這些場景中，歷史壓縮在查詢之前發生，靜默失敗的風險最高。認證提供的歸因能力，讓系統能決定何時值得重新計算，而非盲目相信輸出信心。不過，論文也坦承，在較寬鬆的預算下（25-50%），認證的價值有限，因為問題感知驅逐幾乎不造成損失。這暗示了未來研究方向：如何讓認證在更極端的壓縮率下保持實用性，以及如何將此框架推廣至其他注意力變體或非注意力架構。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。