教師‑學生結構域適應的多模態深偽檢測模型 EAV-DFD 研究

引言

生成式 AI 模型的迅速進步，使得深偽影音在視覺與音訊兩個層面都能達到高度仿真。雖然這類技術在遊戲、動畫、虛擬實境等領域提供了創新可能，卻也因惡意使用而衍生出隱私、資訊安全與公共信任等重大議題。2024 年美國總統大選前夕，Elon Musk 在 X 平台分享的深偽影片模仿副總統卡馬拉·哈里斯的聲音，引發社會對 AI 生成內容倫理的廣泛討論。

為因應此類挑戰，學界與產業陸續提出多種偵測方法。早期多採用單一模態（僅音訊或僅影像）進行特徵擷取，隨著偽造技術的提升，研究者轉向結合音訊、視訊與兩者交互的多模態偵測，以期提升模型的泛化能力與魯棒性。

相關工作

單模態偽造偵測最初以手工特徵為主，視訊方面利用頭部姿態、光流等資訊，音訊方面則採用 MFCC、Mel‑spectrogram 等頻譜特徵。近年隨著深度學習的普及，研究者開始使用 Xception、Capsule Networks、Transformer 等架構，甚至引入心率、唇部動作等生理訊號作為輔助特徵。儘管多模態方法在提升偵測效果上展現優勢，但在實務中仍面臨模態缺失或跨域泛化不足的挑戰。

方法概述

本研究提出 EAV-DFD（Ensemble Audio‑Visual DeepFake Detection）模型，採用教師‑學生結構進行域適應。模型由三個子網路組成：

• 視訊子網路：從影片幀中擷取臉部區域影像，捕捉視覺偽造痕跡。
• 音訊子網路：直接處理原始音訊，使用 CNN 編碼器提取特徵，再交給遮蔽 Transformer 處理。
• 音視子網路：同時輸入唇部影像與音訊的 Mel‑spectrogram，透過跨注意力 Transformer 整合兩種模態的資訊，發掘不一致性。

每個子網路產生的嵌入向量分別送入獨立的 MLP 分類器，最後由決策模組將三個預測結果融合，產生最終的真假判斷。模型在 FakeAVCeleb 資料集上先行訓練，形成教師模型；之後以少量未見域樣本訓練學生模型，教師模型透過專門設計的損失函數（二元交叉熵 + 對比損失）指導學生模型，使其在新域上保持效能，同時不犧牲主域表現。

資料集與設定

主要訓練資料為 FakeAVCeleb，該資料集提供四種標籤（真視訊‑真音訊、真視訊‑偽音訊、偽視訊‑真音訊、偽視訊‑偽音訊），利於子網路的多任務學習。未見域則選取 DFDC、Deepfake_TIMIT 與 PolyGlotFake，分別代表不同的合成技術與語言環境。為減少領域差異，我們在教師模型訓練階段加入多樣化的資料增強手段，並於學生模型階段僅使用每個未見域的極少量樣本進行微調。

實驗與結果

在 FakeAVCeleb 測試集上，EAV-DFD 的三個子網路與融合模型皆達到近 99% 的 AUC，顯著優於現有的多模態基線（如 AVTENet、SS‑AVD 等）。在三個未見域的測試中，透過教師‑學生框架的域適應分別提升 AUC 4.09%、17.94% 與 0.5%。此外，模型具備單模態輸入的彈性，當音訊或視訊缺失時仍能提供合理的偵測結果。

結論與未來展望

本研究展示了結合教師‑學生結構與多模態融合的深偽偵測框架，能在跨域情境下保持高偵測率，同時具備解釋哪種模態被操縱的能力。未來可探索更大型且多樣的資料集、不同的域適應技術（如模態專屬適配器），以及將模型壓縮以降低部署成本，並持續關注對抗攻擊與倫理議題。

延伸閱讀

• 「HyperPotter」超圖框架結合高階交互與 O‑information 提升音訊深偽檢測效能
• LEAF‑X：以熵導向注意力提升 Transformer 語音辨識的可解釋性與時間定位精準度
• 指令向量導向大規模音頻語言模型：提升時間注意力與事件定位

代理人點評

EAV-DFD 以教師‑學生機制將多模態偵測推向新高度，特別是在資料來源多變的實務環境中展現出不俗的適應能力。相較於傳統單模態或僅多模態融合的方案，該架構在少量新域樣本下即可提升 AUC，降低了對龐大標註資料的依賴。未來若能結合更廣泛的跨語言資料與更細緻的模態解釋，將有助於提升檢測的透明度與公信力。然而，模型的部署仍需審慎考量，避免因偽造檢測技術被濫用於大規模監控，並持續關注偽造技術的快速迭代對偵測模型的挑戰。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。