深度分析
FAIR-Calib:前緣感知加權校正提升擴散大型語言模型量化穩定性
擴散大型語言模型(dLLM)透過多輪遮蔽與去噪逐步生成文字,但其不可逆的寫入機制使得低位元量化時,邊緣決策容易被量化噪聲翻轉,進而在後續迭代中被永久鎖定並放大。FAIR-Calib 提出兩階段的後訓練量化框架:第一階段利用全精度教師模型探測寫入前緣的穩定性先驗,結合寫入次數與遮蔽階段的可靠性;
深度分析
擴散大型語言模型(dLLM)透過多輪遮蔽與去噪逐步生成文字,但其不可逆的寫入機制使得低位元量化時,邊緣決策容易被量化噪聲翻轉,進而在後續迭代中被永久鎖定並放大。FAIR-Calib 提出兩階段的後訓練量化框架:第一階段利用全精度教師模型探測寫入前緣的穩定性先驗,結合寫入次數與遮蔽階段的可靠性;
深度分析
面對 VLA 模型難以在邊緣裝置部署的記憶體瓶頸,ActQuant 提出行為導向混合精度 PTQ:先依矩陣對動作貢獻分配位元,再在矩陣內以動作敏感度優化分塊尺度,並透過 OmniModel.cpp 轉出低位元本地推論。實驗顯示可在低於 3-bit 保持高成功率並顯著壓縮模型。