MGDT：MLLM 引導擴散變換器，突破多模態知識圖譜補全瓶頸
多模態知識圖譜補全（MKGC）需從結構、文字與視覺線索推斷缺失實體。現有擴散模型直接在原始多模態特徵上進行去噪，迫使模型同時處理關係相關線索選取、跨模態語義對齊與結構感知實體生成，導致雜訊與語義不一致。
多模態知識圖譜補全（MKGC）長期面臨一項核心挑戰：如何從結構、文字與視覺線索中準確推斷缺失實體。現有擴散模型方法通常直接在原始多模態特徵上進行去噪，迫使模型同時處理關係相關線索選取、跨模態語義對齊與結構感知實體生成，導致雜訊與語義不一致，最終影響補全效能。
MGDT：對齊再擴散的新典範
為突破此限制，研究團隊提出 MGDT（MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts）。該框架建立在「對齊再擴散」範式之上，將複雜任務拆解為三個階段。
第一階段，關係自適應語義路由專家混合（RASR-MoE）模組動態選取與當前關係相關的多模態語義轉換路徑，同時抑制無關模態的干擾。第二階段，凍結的多模態大型語言模型（MLLM）作為語義錨點，將路由後的多模態表徵對齊至統一的潛在空間，有效降低跨模態語義異質性。第三階段，知識圖譜擴散變換器（KGDT）在該對齊空間中進行圖條件去噪生成，產出缺失實體的表徵。
實驗表現
在三個基準資料集上的實驗結果顯示，MGDT 持續超越多個強基線，驗證了其設計的有效性。這項研究為多模態知識圖譜補全提供了一條更具結構化與語義一致性的新路徑。
延伸閱讀
- Intuit TurboTax 實作案例：利用 LLM 與 DSL 將 900 頁稅務法案轉化為程式碼
- LLM 驅動的去匿名化：研究揭露 AI 能大規模精準識別社交媒體化名用戶
- LLM 驅動的網路故障排除：利用 RAG 與微調構建 RCA 知識庫以提升網路韌性
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
