Per-Channel Reduction

速報

KV 快取量化安全對齊崩潰與 Per-Channel Reduction 修復方案

研究針對大型語言模型的鍵值快取量化（KV cache quantization）進行安全性評估，發現低位元量化會在不顯著提升困惑度的情況下，大幅削弱模型的安全對齊。作者提出幾種失效模式，並開發 Per-Channel Reduction（PCR）診斷工具，能在不需再訓練的前提下，將失去的安全性恢復最高 97%。