深度分析
AdaTKG:自適應記憶提升時間知識圖譜推理與新興實體處理
Temporal知識圖以時間戳記事實支援事件推理,AdaTKG提出每個實體的自適應記憶,透過共享參數的EMA更新,使新實體亦能推斷,實驗顯示相較基線有明顯效能提升。該記憶以指數移動平均方式累積,互動次數越多表徵越精緻,且只需單一共享標量即可支援未見實體,程式碼已於GitHub公開。
深度分析
Temporal知識圖以時間戳記事實支援事件推理,AdaTKG提出每個實體的自適應記憶,透過共享參數的EMA更新,使新實體亦能推斷,實驗顯示相較基線有明顯效能提升。該記憶以指數移動平均方式累積,互動次數越多表徵越精緻,且只需單一共享標量即可支援未見實體,程式碼已於GitHub公開。
深度分析
本研究以 EMA 為簡易循環上下文探討序列模型的能力界線。研究顯示 EMA 能編碼時間結構,且多時間尺度 Hebbian 架構在語法角色指派上達到監督 BiGRU 96% 的表現,然而其會抹除詞彙身份,使大型語言模型的困惑度僅達 260,突顯固定係數累積的資訊稀釋問題。