對稱化隨機梯度下降

深度分析

對稱化隨機梯度下降與衝擊波理論的數學橋接：黏性Hamilton‑Jacobi與Burgers方程分析

研究指出，將參數對稱商與局部熵粗粒化結合，可在商空間上得到黏性Hamilton-Jacobi方程，進一步在一維閉合條件下推導出Burgers型方程，說明訓練階段的突變可視為衝擊波形成。研究同時驗證此理論於多層感知器、卷積神經網路與Transformer皆符合相同方程，並提出以對稱校正的觀測量作為訓練相變的早期警訊。