深度分析
「憲法安全在政策蒸餾 (COPSD)」突破安全與表達的幾何耦合瓶頸
研究針對安全導向的自我蒸餾（OPSD）出現的回應縮減問題，提出兩階段的憲法安全蒸餾（COPSD）先以跨SFT冷啟動校正教師，再進行憲法條件的在政策蒸餾，實驗顯示在12項基準上提升安全與有用性的平衡，同時減少對一般推理能力的損耗。此方法亦針對跨模型、跨規模的安全通道成癮問題提供緩解。
深度分析
研究針對安全導向的自我蒸餾（OPSD）出現的回應縮減問題，提出兩階段的憲法安全蒸餾（COPSD）先以跨SFT冷啟動校正教師，再進行憲法條件的在政策蒸餾，實驗顯示在12項基準上提升安全與有用性的平衡，同時減少對一般推理能力的損耗。此方法亦針對跨模型、跨規模的安全通道成癮問題提供緩解。
深度分析
在大型語言模型後訓練中，標準在政策蒸餾需持續運作教師伺服器，成本高。Lightning OPD 透過離線預算教師對數機率，確保教師一致性，消除即時伺服器需求。實驗證明，此法在 AIME 2024 測驗上以 30 GPU 小時取得 69.9% 成績，速度提升約 4 倍，降低研究門檻。