深度分析
DynaResize 動態 GPU 重新分配：破解 LLM 後訓練管線瓶頸的系統級方案
大型語言模型（LLM）的後訓練階段，特別是基於強化學習（RL）的流程，通常會將 Rollout（生成軌跡）與 Training（訓練）分離到不同 GPU 上執行。然而，Rollout 的延遲常因提示複雜度而出現長尾分布，導致下游 Training 的 GPU 閒置，形成管線氣泡。
LLM 後訓練
深度分析
使用 LoRA 與 TRL 完成 Qwen2.5-0.5B‑Instruct 對齊：四階段實作詳解
本篇教學以輕量模型示範四種後訓練方法：監督微調、獎勵建模、直接偏好優化與群組相對策略，並透過LoRA在ColabT4上完成。結果顯示即使硬體受限，也能提升模型對數學推理與回應品質。同時比較了傳統參數放大與LoRA高效微調的成本差異，指出此路線可降低部署門檻，促進開源社群與企業快速驗證對齊策略。
深度分析
LLM 後訓練激活稀疏化（N:M）：CLACT 與 Per-Token Shift 的輕量錯誤緩解
隨著大型語言模型推論需求提升，研究者提出後訓練N:M激活稀疏化技術，透過8:16等半結構化模式搭配輕量誤差緩解方法，實驗顯示在相同稀疏率下保留生成能力優於傳統權重稀疏，並為未來硬體支援多樣稀疏模式奠基。此研究亦比較了多種剪枝指標與轉換技巧，證明簡易的動態位移與方差校正可顯著降低性能損失。