速報
HOPE 框架問世：用希爾伯特空間拆解神經網路內部知識
深度神經網路雖能編碼複雜的表示，但其內部知識的拆解一直是個難題。研究人員發現學習與壓縮之間存在關聯，因此網路壓縮成為分析知識的可行途徑。然而，傳統壓縮方法常受尺度對稱性與架構偏誤影響。
速報
深度神經網路雖能編碼複雜的表示，但其內部知識的拆解一直是個難題。研究人員發現學習與壓縮之間存在關聯，因此網路壓縮成為分析知識的可行途徑。然而，傳統壓縮方法常受尺度對稱性與架構偏誤影響。
深度分析
隨著模型規模不斷膨脹，剪枝成為降低記憶體與運算成本的關鍵技術。研究提出STARFISH方法，利用少量未標記影像校正集，使剪枝後的網路內部表示與原始模型對齊，從而恢復精度。實驗顯示，在75%權重被剪除的情況下，STARFISH只需0.4%訓練影像即可恢復原始模型82%的準確率，遠超其他方法。