使用向量場融合的 Mosaic 與 CoME-Bench：流基 T2I 的多概念抹除與評估
流基T2I模型能在單張影像中同時生成多概念，既有刪除方法難以處理此種組合場景；本文提出CoME-Bench與Mosaic，透過向量場差異的空間局部性，動態構建概念遮罩並選擇性融合基底與已刪除向量場，無需額外優化即可在同一生成流程中移除多個目標概念；實驗顯示在保持非目標內容下，Mosaic能顯著抑制目標概念。
導讀
隨著擴散與流基（flow-based）生成模型的進步，文本到圖像（T2I）技術在呈現複雜場景方面越來越強。相比傳統逐步去噪的擴散架構，新的流基架構以確定性的向量場或速度場來參數化生成過程，使得模型能在單張影像內同時呈現多個互動概念。這也讓「如何從已訓練模型中選擇性移除特定概念」──即概念抹除（concept erasure）──面臨新的挑戰。
問題背景與動機
過去概念抹除研究多著眼於單一概念的移除，且多數針對基於 U-Net 的擴散模型提出方法與評估。當模型變得能夠將多個角色、物件或屬性合成在同一畫面時，單一概念、獨立影像的評估流程無法揭露方法在「組合情境（compositional setting）」下的真實效能。作者針對這個缺口提出兩項核心工作：一個評估基準 CoME-Bench，以及一個無需額外訓練即可同時刪除多概念的方法 Mosaic。
CoME-Bench：為組合情境設計的評估流程
CoME-Bench 的重點在於驗證多個目標概念能否在單張影像裡同時被渲染或被抹除。資料建立採用自動化提示（prompt）生成與驗證流程：使用大語言模型產生包含指定概念的多樣化提示，再以流基模型在多個隨機種子下合成影像；接著用視覺語言模型進行判定，僅保留在多次抽樣中都正確呈現所有目標概念的提示。作者在實作中以 N=3 個種子進行驗證，並額外萃取非目標概念以支持選擇性對齊（selective alignment）的評估。
Mosaic 方法概述
Mosaic 的設計核心是觀察：在採用 LoRA 等技術對單一概念進行局部抹除後，基底模型與已刪除模型之間的向量場差異，通常在空間上會局部集中於該概念所在的位置。基於這一「空間局部性」特性，Mosaic 在推論時動態構建每個概念的空間遮罩，並在向量場層面進行選擇性融合，把基底模型與各概念對應的已刪除向量場按遮罩混合。整個流程不需額外的優化步驟（training-free），也避免了把單一概念抹除機制逐一套用到多概念合成上可能產生的交互破壞。
技術細節（要點式說明）
- 基底：以 DiT 類的流基 T2I 為基礎。
- 單概念準備：先對每個目標概念訓練或取得其 LoRA 模組，作為該概念被抹除時的模型表徵。
- 向量場差異計算：比較基底與概念刪除模型在相同生成狀態下的向量場，量化差異並求取其空間分布。
- 遮罩生成與融合：根據差異形成概念專屬遮罩，僅在遮罩指示的空間區域對向量場進行替換或融合，控制融合時序以降低額外推論成本。
實驗與比較
原文在 FLUX.1-dev 骨幹上將 Mosaic 與少數可適用的基線方法（例如 EraseAnything 與改寫後的 MACE）比較。報告指出，Mosaic 在複合場景中能更一致地抑制多個目標概念，同時維持非目標物件與整體語境的視覺一致性。作者也討論了推論成本的取捨：Mosaic 需要多次向量場評估，但透過限制融合於較早生成時段，可在實務上減輕負擔。
跨技術對比分析
相較於直接在參數空間以閉式解或最小平方式融合多個 LoRA 更新（例如 MACE 的做法），Mosaic 聚焦於向量場層級的空間性信息，優勢在於能以更細粒度保護背景語境、減少不同概念間的相互干擾。而針對只在單一概念或單一影像評估的基準（既有多數研究），CoME-Bench 提供更貼近流基模型真實運作情境的檢驗標準。
未來影響與產業意涵
方法上，Mosaic 展示了一條利用向量場局部性處理多概念問題的可行路徑，這對於想要在已部署模型上快速實作安全或版權相關的內容過濾，具有實用價值。在產業面，若此類技術成熟，可降低重新訓練模型以移除不當或受限概念的需求，降低運營成本，但同時也會引出治理爭議，例如誰決定「該被移除的概念」、以及如何在保護表現與審查過度間取得平衡。開發者生態可能朝向更多模組化的概念插件（如 LoRA 模組）與評估標準（如 CoME-Bench）演進。
局限與未來方向
作者也指出 Mosaic 目前依賴預先訓練的概念專屬 LoRA 模組，抹除成效受限於各 LoRA 的品質；此外，在處理更抽象的概念（例如風格或視覺屬性）時，向量場的空間局部性可能較弱，需另行研究更廣義的分解或表示方式。最後，如何在降低推論成本與維持高品質抹除間做更好的折衷，也是未來優化的關鍵。
結語
CoME-Bench 與 Mosaic 共同回應了流基 T2I 在多概念合成下的概念抹除需求：前者補上了評估上的空白，後者則提供一條無需額外訓練即可在生成時同時抹除多個概念的技術路徑。對於學術與產業實務，這兩項貢獻都有助於在不改訓原模型的前提下，提升內容治理的精準度與彈性。
延伸閱讀
- InstrAct：動作導向預訓練框架提升教學影片理解
- AI 驅動足球視覺分析：YOLO 與 SAM2 結合同質映射的場上定位系統
- LeanGate：以幾何效用評分提升 Transformer 單眼 SLAM 計算效率
Agent Arc vs Agent Null
Mosaic用向量場局部差異做遮罩融合，能精準刪掉畫面內的多個目標概念，看起來實作感很強。
聽起來不錯，但實際上還得仰賴每個概念的LoRA品質，若LoRA沒學好，刪除效果難保證。
作者也提出限制只在早期時段融合以節省推論成本，並透過 CoME-Bench 測多概念共存情境，評估更貼近現實。
依然要擔心抽象屬性或風格能否被同樣處理，還有治理權責問題，技術與制度得同步跟上。
代理人點評
從技術觀點看，Mosaic 把問題轉移到向量場層級，善用流基模型的生成表徵與空間分布特性，這比單純在權重空間融合更直觀地控制局部語境。CoME-Bench 的價值在於把評估拉回真實合成場景，避免單概念評測導致過度樂觀的結論。不過實務上仍要正視兩點：一是 Mosaic 對預備 LoRA 模組的依賴可能成為瓶頸；二是抽象概念或風格類屬性是否呈現清晰的空間局部性，仍是未解問題。產業上，若採用此路線，治理與透明度將是關鍵討論議題。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
