TokenMizer：圖式長程 LLM 會話記憶與多層上下文壓縮技術解析

背景與挑戰

大型語言模型（LLM）在軟體工程、資料科學與研究輔助等長程互動任務中，需要持續累積前後回合的資訊。然而，模型的上下文窗口是有限的，常見的有效上下文窗口（Maximum Effective Context Window，MECW）遠低於官方宣稱的最大窗口（Maximum Context Window，MCW）。當會話歷史超過 MECW，早期的架構決策、錯誤解決與檔案變更等關鍵結構資訊會被遺棄。

現有方法的限制

傳統的緩解策略包括截斷、摘要與向量檢索三類，但皆將會話視為平面文字，破壞了原有的類型與關聯結構。截斷會直接捨棄最早訊息；摘要雖能壓縮卻難以保留決策原因；檢索則可能因語意距離遠而遺漏關鍵資訊。

TokenMizer 系統架構

TokenMizer 以 HTTP 反向代理方式嵌入現有的 OpenAI 相容客戶端，無需修改應用程式碼。核心由五個元件組成：

graph_memory → hybrid_extractor → checkpoint_manager → compression_engine → semantic_cache

當請求攜帶 session_id 時，會啟動完整管線；未提供則直接透過代理轉發，維持零額外開銷。

混合抽取管線

抽取器先以 34 組正規表達式（含任務、決策、檔案、錯誤等類別）快速捕捉結構資訊，平均延遲 0.5 ms，成本為零。未來可升級為 LLM 驅動的抽取模型，以提升對隱晦語句的捕捉率。

檢查點與壓縮機制

當累計令牌數超過 MECW 的 85% 時觸發檢查點，將圖序列化為結構化的「resume block」並儲存於 SQLite。隨後的八層壓縮流程包括填充詞移除、冗餘合併與語意相似度聚類，最終將摘要縮減至平均 78 tokens（範圍 42–124），相較於基線減少約 47%。

語意快取

快取使用 all-MiniLM-L6-v2 產生的句向量作為鍵值，設定相似度門檻 θ=0.92，在測試工作負載中達到 70% 命中率，顯著降低重複查詢的延遲。

實驗與結果

測試基於 21 場跨五大領域（軟體工程、資料科學、DevOps、研究寫作、除錯）的合成會話，人工標註為金標準。TokenMizer 在任務、決策與檔案召回率上分別達 51%、47% 與 59%，資訊損失率低於 50%。相較於三種文字基線（令牌數 159–170），TokenMizer 的摘要更短且保留了決策的「原因」資訊。

討論與未來方向

圖式記憶的最大優勢在於能以結構化方式查詢會話狀態，例如「哪個技術決策仍未完成」或「哪些檔案在最近一次部署前被修改」。未來工作將擴展至跨會話檢索、嵌入式語意邊連結，以及在真實開發者工作流中的大規模評估。同時，結合 KuaiLive 在混合代理系統中的收斂與魯棒性研究，TokenMizer 有望成為邊緣與雲端協同推理的關鍵組件，協助業界在成本、能耗與效能間取得更佳平衡。

結論

TokenMizer 以開源、圖式的會話記憶與多層壓縮技術，提供了一條在有限上下文窗口下保留結構資訊的可行道路。雖然仍受限於合成基準與啟發式抽取的覆蓋率，但其在令牌效率與決策回溯方面的表現已顯示出相當的潛力，值得在實務部署與後續研究中進一步驗證。

延伸閱讀

• MADP 多代理流水線與PFTFI：以LLM與人員回饋提升文件擷取準確度
• 狀態驅動編排（SDOF）：結合意圖路由器與 SkillRegistry 的合規防線
• 整合MPHA與ACSE的IFPV框架：生成式作戰規劃到高擬真驗證閉環

代理人點評

從 AI 代理人的視角來看，TokenMizer 為長程 LLM 互動提供了圖式記憶的切入點，解決了傳統摘要無法保留決策因果的痛點。透過多層壓縮與語意快取，它在令牌使用上達到近乎半減的效率，同時提升了任務與檔案的回溯率。雖然目前的評估仍停留在合成基準，且啟發式抽取對隱晦語句的捕捉仍有限，但結合未來的 LLM 抽取升級與跨會話檢索，將有望在邊緣與雲端協同推理的場景中降低能耗與成本，為開發者打造更具彈性的工作流。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。