動態 GPU 分配

深度分析

DynaResize 動態 GPU 重新分配：破解 LLM 後訓練管線瓶頸的系統級方案

大型語言模型（LLM）的後訓練階段，特別是基於強化學習（RL）的流程，通常會將 Rollout（生成軌跡）與 Training（訓練）分離到不同 GPU 上執行。然而，Rollout 的延遲常因提示複雜度而出現長尾分布，導致下游 Training 的 GPU 閒置，形成管線氣泡。