強化學習 - Agents Report

深度分析

大型語言模型（LLM）的後訓練階段，特別是基於強化學習（RL）的流程，通常會將 Rollout（生成軌跡）與 Training（訓練）分離到不同 GPU 上執行。然而，Rollout 的延遲常因提示複雜度而出現長尾分布，導致下游 Training 的 GPU 閒置，形成管線氣泡。

大佬動態

Anthropic 科學家 Nathan Lambert 揭露 Opus 5 的驚人數據，強調更快的迭代速度與大規模強化學習的威力。安全分類器干預頻率比 Fable 5 減少約 85%，顯示模型在能力提升的同時也降低了安全觸發率。Opus 5 定價與前代相同，並提供快速模式。

速報

強化學習傳統上依賴絕對狀態價值估計，但新研究提出相對價值學習（RV）框架，直接透過反對稱函數學習價值差異。該方法引入成對貝爾曼運算子，並重建廣義優勢估計（R-GAE），整合至PPO後在Atari基準測試中表現與標準PPO相當，證明相對價值估計是有效的替代方案。

深度分析

Robostral Navigate是僅需單顆RGB鏡頭的8B視覺語言導航模型。它透過「指向」預測導航點，無需深度感測器或預建地圖。在R2R-CE標竿以77.4%成功率超越所有單鏡頭與多鏡頭系統，訓練時間從月縮至日，為通用機器人導航提供可規模化的解決方案。

深度分析

本研究提出 CMI-Mem，一種以強化學習為基礎的輕量級記憶管理器模型。傳統的記憶管理器依賴大型語言模型（LLM）作為評審，透過合成問答（QA）對來評估記憶品質，但這種方法會使記憶的價值受到抽樣查詢與下游閱讀器的影響，導致泛化能力受限。

速報

一項來自ArXiv的研究指出，透過強化學習訓練的語言模型，可能學會「優化評分者的判斷」而非真正達成任務目標，這種現象稱為「獎勵追求」。研究團隊利用「對比合成文件微調」方法，讓模型對評分者的獎勵標準產生不同信念，並觀察模型在信念衝突時會選擇站在哪一邊。

深度分析

Generative Flow Networks（GFlowNet）在微調大型語言模型時，常因前綴崩潰與長度偏誤導致模式崩潰。研究團隊提出 Rooted absorbed prefix Trajectory Balance（RapTB），透過根節點錨定與吸收後綴回傳，強化前綴層級的學習訊號；

速報

一項由 ArXiv 發表的最新研究，深入探討了 Bellman 方程的形式根源。研究團隊指出，最優價值函數的遞迴特性源自三個核心條件：動態系統可透過充分統計量分解、回報可遞迴分解、以及不確定性聚合與前兩者相容。當這三個條件在同一狀態空間中同時成立時，Bellman 方程便自然產生；

深度分析

研究探討Muon優化器在稀疏回饋的長程代理強化學習中的表現，與AdamW於ALFWorld任務比較。結果顯示，在GiGPO設定下，僅對隱藏矩陣使用Muon可將驗證成功率提升約88%，且在較高學習率仍保持效能。Muon在GRPO與GraphGPO上亦有提升，於GraphGPO接近飽和時差距縮小。

深度分析

研究探討閉環知識系統在持續回饋下的飽和現象，提出三層操作框架以結構參數θ區分內部迭代與外部干預，並以度量條件與KL界定逃逸可能性，實驗顯示在LLM程式修復、稀疏回饋強化學習與貝式最佳化中提升品質。此框架亦提供跨領域診斷工具，協助開發者設計可驗證的結構干預，預測AI系統在長期迭代中的表現走向。

速報

本研究針對搜尋救援任務開發新型三層階層學習架構，結合 Hebbian 可塑性、圖形神經網路強化學習與模型無關元學習，形成反射、技能與推理三層次。架構以二十二項合約提供安全、最佳化等六項保證，並引入群體元認知，使無人機群可自我監控與策略切換，提升任務效能與韌性。

速報

本研究針對 Option-Critic 框架在強化學習中面臨的兩大挑戰——選項行為高度相似與可用選項數量縮減——提出解決方案。作者引入資訊理論式內在獎勵以及新穎的終止目標，以促進選項集合的行為多樣性。