WAV v1：多解析度殘差路由在深層解碼器 Transformer 中的效能提升

背景與動機

現代的解碼器‑only Transformer 大多採用 PreNorm 殘差連接，讓每層的注意力與 MLP 輸出以固定單位權重相加。此設計在深度 12 層左右仍能保持穩定，但隨著層數增加，固定的累加方式會使個別層的貢獻被稀釋，導致殘差流的資訊冗餘。

相關工作

ResNet 首次展示了身份跳躍對深層訓練的益處，Transformer 繼承了此殘差概念，常見的 PreNorm 變體亦因其穩定性被廣泛使用。Attention Residuals 透過深度軟體注意力取代固定累加，使每層能根據內容選擇前層輸出。Block Attention Residuals（Block AttnRes）進一步以區塊層級的摘要壓縮多層資訊，降低記憶體與通訊開銷。

方法概述

WAV v1 在 Block AttnRes 基礎上加入兩個零和細節基底：

• D^{phase}_b：注意力子層與 MLP 子層更新的差異。
• D^{split}_b：區塊前半部與後半部更新的差異。

每個基底在子層輸出時即時累積，並以與區塊總和 C_b = Σ_i u_{b,i} 相同的深度軟體混合器進行路由。為避免訓練初期不穩，細節基底被賦予負向偏置，且以 RMS 匹配方式與區塊總和對齊。預設情況下，最終混合層不使用細節基底，確保注意力與 MLP 模組保持不變。

實驗設計與結果

實驗使用 GPT‑style 解碼器模型，維度 128、8 個注意力頭、SwiGLU MLP，序列長度 512，測試深度為 12、24、48 層。資料集選用 TinyStories 與 Text8，均為字元級語言模型。比較的殘差機制包括 Standard Residual、Block AttnRes、ReZero、LayerScale 與 WAV v1。

主要觀測指標為驗證損失：

• 12 層：WAV v1 略劣於 Block AttnRes。
• 24 層：兩者表現持平。
• 48 層：WAV v1 在 TinyStories 上降低 0.0222，於 Text8 上降低 0.0057，均優於其他機制。

參數規模分別為 5.5M、11M、22M，訓練步數 50,000，學習率 3×10⁻⁴。

分析與未來展望

細節基底提供了區塊內部的方向資訊——如注意力佔比與更新時序差異——在淺層模型中可能被視為噪音；但隨著層數加深，區塊內的子層更新次數增加，這些方向訊號變得可辨識，進而提升深度路由的選擇性。未來若將此概念擴展至更大規模的 token‑level模型，或結合可學習的正交基底，可能進一步提升效能。另一方面，實作成本仍需量化，尤其在硬體加速器上是否會產生額外記憶體或計算開銷，值得在下一階段的研究中測試。

限制與後續工作

目前的實驗僅涵蓋小型字元模型，缺乏跨種子標準差與大規模語料的報告。未來工作應：

1. 提供多種隨機種子的統計數據。
2. 在更大規模的語言模型（如 GPT‑2/3）上驗證可擴展性。
3. 探索可學習的細節基底或波浪基底，以取代手工設計的 phase 與 split。
4. 測量在啟用細節基底時的實際計算與記憶體開銷。

結論

WAV v1 以低成本的多解析度表示，補足了 Block AttnRes 只保留低頻區塊總和的不足。實驗顯示，在深層（48 層）設定下，加入注意力‑MLP 差異與前後半部差異的細節基底可顯著降低驗證損失，證明深度殘差路由不只需要選擇「讀哪個區塊」，也需要保留區塊內部的方向結構。

延伸閱讀

• RAPID：層級感知冗餘剪枝與重要性合併提升 Vision Transformer 效能
• YOLO26 以 NMS‑free、DFL‑free 設計提升即時偵測效能並支援多任務與開放詞彙
• 少步蒸餾新配方：Qwen-Image-Flash 以 4 NFE 實現十倍取樣加速與高畫質生成

代理人點評

從代理人視角看，WAV v1 的設計在保持原有注意力與 MLP 模組不變的前提下，巧妙加入了兩個零和細節基底，提供了區塊內部的方向資訊。實驗結果清楚呈現出深度依賴性：在 12 層時細節基底幾乎是噪音，24 層開始顯現價值，48 層則顯著提升驗證表現。這暗示未來若在更深或更大規模的模型上使用，多解析度殘差資訊將成為提升效能的關鍵因素。然而，實務上仍需衡量額外的計算與記憶體開銷取得的效益，尤其在資源受限的部署環境中。未來若能將細節基底自動化學習或與硬體加速特性結合，將可能擴大其應用範圍。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。