深度分析
Naju 原生離散狀態空間模型：獨立遺忘閘與輸入閘實現記憶保持與寫入解耦
這篇研究提出了 Naju（Native Adaptive Junction Unit），一種新型的原生離散狀態空間模型（SSM），專門針對長序列記憶追蹤中的核心矛盾：如何在固定狀態預算下同時實現近乎無損的長期保持與主動覆蓋過時資訊。
深度分析
這篇研究提出了 Naju（Native Adaptive Junction Unit），一種新型的原生離散狀態空間模型（SSM），專門針對長序列記憶追蹤中的核心矛盾：如何在固定狀態預算下同時實現近乎無損的長期保持與主動覆蓋過時資訊。
Absorber LLM
面對Transformer在超長上下文的記憶與計算瓶頸，AbsorberLLM以「因果同步」將歷史上下文吸納到參數，透過同步隱藏狀態使無上下文模型在未來生成上可匹配具上下文模型，實驗顯示可減少推理記憶並提升長文任務表現。有助於串流與長序列部署需求