深度分析
PLATE:幾何感知的高效適配器實現無資料遺忘的持續學習
隨著大型預訓練模型在多任務環境下的應用日增,舊任務資料往往無法取得,導致持續學習面臨遺忘問題。研究提出 PLATE(Plasticity‑Tunable Efficient Adapters),利用模型權重的冗餘性,同時構建受保護的更新子空間與限制更新於冗餘神經元,僅訓練低秩適配器參數。
深度分析
隨著大型預訓練模型在多任務環境下的應用日增,舊任務資料往往無法取得,導致持續學習面臨遺忘問題。研究提出 PLATE(Plasticity‑Tunable Efficient Adapters),利用模型權重的冗餘性,同時構建受保護的更新子空間與限制更新於冗餘神經元,僅訓練低秩適配器參數。
深度分析
表格資料領域競爭趨於密集,本文提出LoMETab,採用共享權重加上身份殘差的低秩Hadamard乘性調變。可調的adapter秩與初始化尺度能控制成員間的預測差異,並在多項基準維持競爭力。同時在分類的argmax不一致度與回歸的模糊度指標上觀察到對應效應,提示可作為實務上調整集成多樣性的工具。