深度分析
Adam-Aware In-Run Data Shapley:線性化鬼影近似實現高忠實度資料歸因
資料歸因是提升模型可靠性與效率的關鍵。本研究發現 SGD 代理方法與 Adam 真實貢獻相關性極低(R≈0.11),因此提出 Adam-Aware In-Run Data Shapley,透過線性化鬼影近似實現高效計算,忠實度達 R>0.99,吞吐量維持標準訓練的 95%。
深度分析
資料歸因是提升模型可靠性與效率的關鍵。本研究發現 SGD 代理方法與 Adam 真實貢獻相關性極低(R≈0.11),因此提出 Adam-Aware In-Run Data Shapley,透過線性化鬼影近似實現高效計算,忠實度達 R>0.99,吞吐量維持標準訓練的 95%。
深度分析
研究指出,語言模型在以無語意輸出微調教師模型後,會透過單一駕駛向量繼承教師的語意偏好。實驗顯示,向量可在推論時復現偏好,且需自適應優化器才能成功蒸餾。此發現解釋了跨模型失效的原因。未來此機制可能影響模型安全與偏見控制,提供新型可控微調方法。