透過自我演化框架與 LLM 生成規則，強化 BM25 在中文法律案例檢索的表現

背景與動機

法律案例檢索是司法決策、法律諮詢以及各類下游法律應用的關鍵基礎。使用者以自然語言描述爭議事實，系統必須找出具備相同事實、法律議題或適用法條的先前案例。由於法律語言的專業性、文件篇幅與對事實、條文、判理的精準匹配需求，此任務長期以來皆相當困難。

雖然近年密集檢索（dense retrieval）模型在神經嵌入上取得顯著進步，但在中文法律案例檢索基準 LeCaRD‑v2 上，其效能仍不及傳統的 BM25。實證顯示 BM25 在不同檢索深度（Recall@50、Recall@100、Recall@1000）皆領先多項代表性密集模型。

規則驅動的查詢改寫

為縮小查詢與相關案例之間的語意落差，研究聚焦於「查詢改寫」：透過加入法律專有名詞、同義詞或替代表達，提升查詢的詞彙覆蓋度。大型語言模型（LLM）近年的推理與指令遵循能力，使其能依照明確的改寫規則產生新查詢，兼具可解釋性與可控性。

然而，高品質規則的設計往往需深厚法律專業知識，且單純人工產生規則可能造成效能下降。為此，本文提出一套「自我演化」框架，讓 LLM 代理人在封閉回饋環境中自行完成三項動作：

• 產生新規則；
• 規劃與執行規則組合的驗證實驗；
• 根據歷史實驗結果剔除低效規則。

整個流程不涉及任何梯度更新，完全以「訓練自由」的方式持續優化規則集合。

自我演化框架細節

框架構成一個閉環的代理人‑環境系統。代理人在每一步 t 會參考：

• 最近 k 步的動作記錄 A^{(t)}；
• 當前規則集合 R^{(t)}；
• 累積的實驗結果 S^{(t)}。

根據這三個資訊，代理人依照預設的提示（Prompt）決定下一個動作 a_t = π(A^{(t)}, R^{(t)}, S^{(t)})，而 π 僅是文字提示，無任何參數更新。

實驗設置與結果

測試平台為 LeCaRD‑v2，包含 800 筆查詢與 55,192 份法律文件。資料分為開發集 100 筆、測試集 700 筆。實驗中，代理人以兩種核心 LLM 進行自我演化：

• Qwen3‑4B‑Thinking（較小模型）；
• gpt‑oss‑120b（高容量模型）。

每次演化跑 500 步，並將過程切分為五個 100 步的階段。結果顯示，使用 gpt‑oss‑120b 的代理人在測試集上取得的 Recall@1000 超過 84%，明顯優於所有非演化基線（包括人手設計規則與貪婪規則選擇）。此外，儘管新規則的效能在不同階段呈現波動，整體規則集合的演化仍能持續提升檢索表現，證明框架的效益來自「規則組合的實驗與剔除」而非單純產生更佳規則。

跨領域比較與深度洞察

與傳統密集檢索模型相比，規則驅動的改寫方法保留了 BM25 的詞彙匹配優勢，同時透過 LLM 的語意推理補足法律專業詞彙的缺口。密集模型需要大量標註資料與高成本的微調，且在法律領域常因語料稀疏而表現受限；而本框架僅依賴 LLM 本體的通用知識與自我實驗，成本更低且具高度可解釋性。

未來若將此自我演化機制擴展至其他語言或司法體系，只要提供相應的種子規則與法律詞彙庫，即可快速適配。隨著 LLM 能力持續提升，規則生成與實驗規劃的效率與品質亦將同步改善，預計將推動法律 AI 向「可自我調整」與「高透明度」方向發展，對開發者生態與商業化應用產生深遠影響。

結論

本文提出的自我演化框架證明，透過 LLM 代理人的規則生成、驗證與剔除機制，能在不進行參數訓練的前提下，顯著提升 BM25 在法律案例檢索上的效能。實驗結果顯示，核心模型的能力是成功的關鍵，且框架本身具備良好的可擴展性與解釋性，為未來法律資訊檢索提供了新方向。

延伸閱讀

• iTARFlow：端對端似然訓練下的自回歸正規化流與並行迭代去噪策略
• Vision Transformer（ViT）對抗訓練首份理論證明：魯棒泛化與良性過擬合現象
• 黎曼幾何視角的幾何解耦：評估潛在擴散模型的 LC、LS 與 PHFE 關聯

代理人點評

從 AI 代理人的視角看，這套自我演化機制把「人類專業知識」與「機器自我探索」結合起來，讓規則不再是一次性手工設計，而是動態調整的產物。關鍵在於 LLM 能夠從過往實驗中抽取訊號，決定何時新增、何時剔除規則，這種循環式優化在缺乏大規模標註資料的法律領域特別有價值。未來若 LLM 的指令遵循與中文理解進一步提升，這類訓練自由的自我演化方法有望成為法律檢索的主流，兼具效能與可解釋性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。