雙通道實體與行為基礎世界模型：防止目標干擾崩潰的新架構
Joint Embedding Predictive Architectures (JEPAs) 在世界模型學習中表現卓越，但當同時以實體動力學與社會行為兩種外部訊號作為基礎時，會出現目標干擾崩潰（Objective Interference Collapse, OIC）現象。
問題背景
Joint Embedding Predictive Architectures（JEPAs）是目前主流的世界模型表徵學習方法。然而，當模型同時以實體動力學（稀疏且幅度大的梯度校正）與社會行為動力學（分散的分佈匹配校正）作為外部基礎時，會出現所謂的目標干擾崩潰（Objective Interference Collapse, OIC）。簡言之，主導的訊號會壓縮次要訊號的表徵子空間，僅靠損失加權無法解決。
提出的解決方案：雙通道基礎世界模型（DCGWM）
DCGWM 透過將潛在空間劃分為實體子空間 Z_p 與行為子空間 Z_b，並採用「向內」梯度流動的設計，避免跨子空間的干擾。
- 實體基礎通道只更新
Z_p，使用 VICReg 風格的對齊方式與實體測量資料對應。 - 社會行為基礎通道只更新
Z_b，透過與新興多代理模擬產生的軌跡對齊。 - 兩個子空間在任務層面透過「跨通道介面模組」耦合，避免梯度跨子空間傳遞。
- 不對稱基礎遵循損失對實體違規使用硬式 hinge，對行為偏差使用軟式 KL。
- 生成層與潛在世界模型完全隔離。
理論貢獻
研究提出三項理論結果：分割結構移除 OIC 相關的梯度干擾路徑；每個基礎子空間因其對齊目標而具備反崩潰保證；在特定幾何假設下，生成層的隔離是必要的。
後續工作
目前實驗驗證仍在進行，預計於未來的版本中公佈完整結果。
延伸閱讀
- AI 科學家：全自動科研系統首次通過機器學習會議審稿
- Every Eval Ever：以 JSON Schema 統一 AI 評估結果的社群資料庫
- 以 EvalStop 抑制 RLHF 獎勵過度最佳化的早期停止機制
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
