變異減少技術提升非對數凹分布抽樣效能

研究背景

從高維、未正規化且非對數凹的分布抽樣，是機器學習中的基本挑戰。當勢能的精確梯度不可得，只能以變異較大的隨機梯度近似，且每次迭代的梯度計算預算有限。

變異減少技術的統一分析

本文首次對三種已在非凸最佳化中展現效能的變異減少估計器——SGD 動量、STORM、PAGE——進行抽樣情境的統一理論分析。研究證明，這些方法在 ε‑相對 Fisher 資訊上可取得改進的非漸近收斂速率；在假設滿足 Poincaré 不等式時，亦可在平方總變差距離上得到更快的收斂，並證明抽樣序列會弱收斂至目標分布。

應用於逆問題與影像生成

分析進一步延伸至以分數模型作為先驗的逆問題，說明變異減少技術如何在固定每輪梯度計算量下提升樣本品質。實驗在兩個標準影像應用中驗證，結果顯示相較於傳統隨機梯度抽樣，變異減少方法 consistently 提升了生成圖像的清晰度與真實感。

延伸閱讀

• DeMuon：去中心化矩陣最佳化新方法突破圖形拓撲限制
• Isometry Pursuit：從寬矩陣辨識等距嵌入的凸優化法
• 區塊化並行壓縮：在長時程 LLM 代理人中精確控制上下文體積與延遲

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。