深度分析
VCSD：視覺對比自蒸餾技術提升 VLM 對圖片細節的理解力
大型視覺語言模型（VLM）在生成回答時，常依賴語言先驗而忽略圖片中的細微證據。為解決此問題，現有方法多依賴外部教師模型、輔助答案或視覺提示，但這些資源並非隨時可得。本研究提出「視覺對比自蒸餾」（VCSD），僅需同一模型在原始圖片與內容抹除圖片下的預測差異，即可建構有效的自我蒸餾目標。
自我蒸餾
深度分析
SGCD 透過信用重加權改善長程工具使用的政策梯度效能
長程工具使用的強化學習因策略梯度訊號稀疏受限，研究提出SGCD透過動態抽樣產生成功與失敗的兄妹roll‑out，並用外部大型語言模型生成步驟式信用參考，調整token級別信用權重，使AppWorldTGC提升至45.6%，τ³‑airlinepass@1改至0.602。
深度分析
UniSD：結合EMA教師、詞元級對比與多教師一致性的自我蒸餾框架
隨著大型語言模型需針對新任務調適，研究提出 UniSD 統一自我蒸餾框架；它整合多教師一致性、EMA 教師、詞元對比、特徵匹配與發散剪裁等機制，並在六項基準與多個模型上展現穩定提升，驗證自我蒸餾可作為無外部強教師的實用適配途徑。同時分析效能與計算成本的取捨，提出按訊號可信度分配計算的設計建議。
深度分析
SkillFactory：自我蒸餾提升大型語言模型認知推理能力的新方法
研究背景：長鏈推理模型需具備多種認知技能。核心技術：SkillFactory 在監督式微調階段使用模型自產樣本重新排列，形成「銀色」訓練資料，進而自我蒸餾以學習驗證、回溯等技能。主要結果：此方法提升模型在 RL 後的任務泛化與跨域穩健性，且不依賴更大模型的蒸餾。