Heavy Ball

速報

隨機動量法在大批次線性迴歸的效能界限：HB 與 ASGD 的比較

本研究探討隨機動量法在一致線性迴歸中的批次大小權衡。發現 Heavy Ball 只能在較大批次範圍內保留 SGD 的計算效率，且此範圍可達 √κ 倍於 SGD 臨界批次。加速 SGD 則在快速衰減譜下於小批次提升效率，但隨批次增大轉而縮短執行時間。實驗結果與理論預測相符，說明不同譜對方法效能的影響。