受限流形超連結（mHC）導入 SSM：實驗驗證語言模型品質提升
研究探討將受限流形超連結（mHC）應用於狀態空間模型（SSM）語言建模。做法包括將殘差流擴展成多平行流，透過Sinkhorn-Knopp做單純形預混與後混，並在每層施加雙重隨機矩陣投影。結果在WikiText-2上顯示驗證損失與困惑度皆改善，代價是推論吞吐略降且記憶占用增加。
mHC 約束多流導入 SSM 的實驗結果
研究將 Manifold-Constrained Hyper-Connections（mHC）機制套用於狀態空間模型（SSM）。實作上，作者把殘差流展開為多個平行流，透過單純形約束的預混（pre-mixing）聚合成單一 SSM 輸入，SSM 輸出再以單純形後混（post-mixing）散回各流，並於每層對殘差混合矩陣施以 Sinkhorn-Knopp 投影以維持雙重隨機矩陣的約束。
此外，引入流專屬的輕量 adapter，透過共享瓶頸並針對各流做縮放，提供額外的流別專屬容量。比較單流 SSM、靜態 mHC SSM 與 mHC+adapters，在 WikiText-2 的檢驗中，靜態 mHC 將驗證損失從 6.3507 降至 6.2448，困惑度由 572.91 降到 515.35；加入 adapters 後，驗證損失進一步降至 6.1353，困惑度降至 461.88。這些品質提升伴隨效率代價：吞吐從 1025.52 降至 964.81 與 938.90 tokens/sec，峰值記憶由 2365 MB 增至 2568 MB 與 3092 MB。
延伸閱讀
- ConsDreamer：透過VDM與相似性序關係損失校正T2I先驗於3D Gaussian Splatting的視角偏差
- MetaEarth3D：尺度遞進與幾何—材質分離的世界尺度三維生成框架
- FreqFormer：以頻域感知注意力與頻譜路由優化長序列視訊擴散效能
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
