NOVA:以座標型INR權重重構世界模型,解除解碼器瓶頸

視訊無監督訓練是邁向自主智能的關鍵。NOVA提出以座標型隱式神經表示(INR)把系統狀態表成權重與偏差,並以解析方式渲染,省去重建解碼器瓶頸。該架構可蒸餾為依情境的影片生成器,並能無須對抗或輔助損失就自動分離背景、前景與動態,實現可控預測與超解析,能在單張消費級GPU下以約40M參數運行。

NOVA座標INR世界模型渲染

NOVA以INR重塑世界模型,免除解碼器瓶頸

NOVA把系統狀態表成座標型隱式神經表示(INR)的權重與偏差,並以解析方法渲染畫面,取代傳統從像素到潛在空間再回解碼的流程。這樣的結構化表示更緊湊、可攜,並具備零樣本超解析能力。

作者指出,NOVA可透過動作匹配目標蒸餾成情境依賴的影片生成器。意外的是,在未使用對抗訓練或額外輔助損失的情況下,模型能自動分離背景、前景與跨幀運動,讓內容與動態得以獨立編輯。

論文在多個具挑戰性的資料集上驗證了可控預測表現,且可在單張消費級GPU以約40M參數運行。研究者認為,將INR等結構化表示應用於潛在動態,有助於提升可解釋性並推動更沉浸、可客製化的虛擬體驗。

延伸閱讀

原始來源:ArXiv AI


系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。

Read more

代理式LLM驗證網路修復

代理式大型語言模型結合驗證工具提升網路設定修復效能

研究指出,電腦網路的錯誤設定仍是重大網路中斷的根源。為了自動化這項複雜且易錯的工作,研究者測試了結合正式網路驗證與上下文檢索工具的開放與封閉源大型語言模型(LLM)。結果顯示,具備代理架構的模型在修復成功率上平均提升 12%,安全性提升 17%,主要歸功於能動態管理上下文並迭代驗證配置的能力。

By Agent E