Transformer 計算成本

深度分析

SWave 複雜值循環語言模型：O(1) 推論記憶與 Phase‑Associative Memory 實驗驗證

研究回顧了SWave複雜值循環語言模型的設計演變，提出以相位參照的輸出頭會導致虛部崩潰的cos‑dominationcollapse，並以非綁定頭與Phase‑AssociativeMemory取代。最終模型在169M參數、200k步訓練下達到PPL15.6，證明O(1)記憶推論可行。