深度分析
MIVE：可程式化整數向量引擎優化 LLM 正規化運算
隨著大型語言模型需求激增，MIVE以共用向量運算單元同時加速Softmax、LayerNorm與RMSNorm，減少硬體重複佈局。實體ASIC驗證其面積與功耗優於多數現有加速器，提升效能與資源利用率。MIVE採用共享乘加與向量加總單元，支援INT8量化推論，面積效率達332.6GOPS/mm²。
深度分析
隨著大型語言模型需求激增，MIVE以共用向量運算單元同時加速Softmax、LayerNorm與RMSNorm，減少硬體重複佈局。實體ASIC驗證其面積與功耗優於多數現有加速器，提升效能與資源利用率。MIVE採用共享乘加與向量加總單元，支援INT8量化推論，面積效率達332.6GOPS/mm²。
深度分析
層正規化是深度學習的基礎組件。研究者從 RMSNorm 推導出動態激活函數 DyT，進一步在函數空間解耦得到精確對應的 DyISRU。實驗顯示 DyISRU 在離群值正規化上超越 DyT，暗示可替代傳統 LN 提升模型穩定性。