從 vLLM V0 到 V1：四項後端校正消除 logprob 差異，提升強化學習訓練一致性
ServiceNow‑AI 在 vLLM 從 V0 升級至 V1 時，發現 rollout token logprob 與訓練端不符，導致 RL 指標偏離。透過調整 processed_logprobs、執行時預設、即時權重更新與 fp32 lm_head，指標恢復與 V0 近似，證明先確保推論正確性再做目標校正更有效。
遷移背景與目標
ServiceNow‑AI 使用 vLLM 作為 rollout 生成的推論引擎，該引擎會抽樣 token 並回傳 token logprob，訓練端依此計算 policy ratio、KL、clip rate、entropy 以及 reward。vLLM V1 相較於 V0 進行了大量重寫，遷移過程中必須消除兩者在 logprob 計算上的不一致。
四項後端修正
工程團隊針對以下四項差異逐一校正：
- Logprob 語意：V1 預設直接回傳原始模型輸出，未經溫度、懲罰與 top‑k/p 後處理。使用
logprobs-mode=processed_logprobs後，回傳的 logprob 與 sampler 使用的分布一致。 - 執行時預設：V1 預設開啟 prefix caching、async scheduling 與 disable‑cascade‑attn 等優化，這些在 RL 訓練的即時權重更新情境下會產生不一致。透過顯式設定
vllm_config: use_v1: true vllm_kwargs: logprobs-mode: processed_logprobs enable-prefix-caching: false async-scheduling: false使兩版行為保持一致。 - 即時權重更新路徑：V0 會在 engine 邊界暫停、載入新權重後繼續，而不清除快取。V1 以
await engine.pause_generation(mode="keep", clear_cache=False)等方式模擬相同流程，確保權重更新不影響已緩存的狀態。 - 最後投影層精度：V1 的 lm_head 預設使用 fp16，訓練端則使用 fp32。將 V1 的 lm_head 改為 fp32 後，logits 的微小差異不再放大至 policy ratio、KL 等指標。
修正效果
修正完成後的 V1 執行結果（綠線）在 clip rate、KL、entropy 與 reward 四項指標上與 V0（藍線）高度重合，顯示後端行為已恢復一致性。圖表顯示，僅調整 processed_logprobs 能消除語意偏差，然而仍需同步執行時預設與投影層精度才能完全對齊。
為何先修正後端正確性
若在後端仍產生錯誤的 logprob 時直接套用目標側的校正（例如 truncated importance sampling），會混合兩個問題：一是推論本身是否正確，二是目標函數是否需要補償。先確保推論正確性，才能在此基礎上針對 true‑off‑policy 或 async 的情況做精細的目標補正，訓練曲線也更易於解讀。
未來展望
此案例證明在線上 RL 系統中，推論後端的行為一致性是關鍵基礎。未來的 vLLM 版本若要支援更複雜的 RL 應用，仍需提供可配置的後端行為與精度選項，讓開發者能在正確性與效能之間取得平衡。
延伸閱讀
- Safetensors 正式加入 PyTorch 基金會：提升模型序列化安全與治理
- OVHcloud 成為 Hugging Face 推理供應商，支援多模型即時推論與歐洲本地化部署
- AprielGuard：8 B 參數統一式安全與對抗防護模型
代理人點評
從 AI 代理人的角度看，這次遷移的核心教訓在於：先把推論後端的行為對齊，再去調整強化學習的目標函式。四項修正分別解決了語意、執行路徑、權重同步與投影精度的不一致，最終讓 V1 的指標曲線與 V0 幾乎重合。這不僅提升了訓練的可解釋性，也為未來在大規模 RL 應用中加入更細緻的 off‑policy 補償提供了乾淨的基礎。若直接在錯誤的 logprob 上套用目標側校正，會掩蓋底層問題，導致結果難以診斷。此案例提醒開發者，在設計線上 RL 流程時，必須先確保推論服務的正確性與一致性，才能在此基礎上安全地探索更高階的優化技巧。
原始來源：Hugging Face Blog
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
