CHAD

深度分析

低資源語言摘要模型新突破：CHAD 與 EWAD+CPDP 改善知識蒸餾成效

知識蒸餾不一定總是有益。研究發現標準 KD 在孟加拉語摘要任務中僅提升 ROUGE-L 0.0003，超過半數訓練樣本反而有害。團隊提出 CHAD 與 EWAD+CPDP 兩種可靠性感知蒸餾法，分別提升 0.0173 與 0.0219，且 6000 萬參數模型勝過 30 億參數模型。