隨機動量法在大批次線性迴歸的效能界限：HB 與 ASGD 的比較
本研究探討隨機動量法在一致線性迴歸中的批次大小權衡。發現 Heavy Ball 只能在較大批次範圍內保留 SGD 的計算效率，且此範圍可達 √κ 倍於 SGD 臨界批次。加速 SGD 則在快速衰減譜下於小批次提升效率，但隨批次增大轉而縮短執行時間。實驗結果與理論預測相符，說明不同譜對方法效能的影響。
隨機動量方法（如 Heavy Ball（HB）、Nesterov 動量與加速隨機梯度下降（ASGD））在現代模型訓練中被廣泛採用。其效益取決於兩個關鍵指標：序列執行時間（達到目標精度所需的迭代次數）與計算效率（CE），即總梯度查詢或 FLOP 成本的倒數。
批次大小與計算效率的關係
當批次大小的收縮差隨批次線性增長時，增大批次可以縮短序列執行時間而不損失 CE。研究聚焦於具有高斯協變的線性迴歸問題，針對 HB 與 ASGD 推導了離散時間、有限維度的下界，說明它們在批次大小上的權衡。
Heavy Ball 的發現
結果顯示，對任意特徵譜，HB 並未提升 CE 的上限，它只能在更大的批次窗口內維持與 SGD 相同的 CE。這意味著在此窗口內，使用較大批次仍能縮短序列執行時間，直到 HB 達到其決定性加速尺度。此窗口的大小可達到 SGD 臨界批次的 √κ 倍。
加速 SGD 的譜依賴行為
ASGD 的表現則更依賴特徵譜形狀。對於快速衰減的冪律譜，ASGD 在小批次時的 CE 超過 HB 與 SGD，但隨著批次增大，它會以犧牲 CE 為代價換取更快的序列執行時間。相反，當譜衰減較緩慢時，ASGD 與 HB 的效能趨於重疊。
實驗驗證
合成線性迴歸實驗證實了上述質性區域。實驗觀測到在快速衰減譜下，CE 與序列執行時間呈現預期的交換關係；在緩慢衰減譜下，ASGD 與 HB 的效能幾乎相同。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
