投影重放編排（PRO）與 PRO‑MAX：跨模態聯邦類別增量學習的輕量記憶解決方案

背景與挑戰

聯邦學習允許多端在不集中原始資料的情況下協同訓練模型，特別適用於隱私敏感的應用。隨著實務部署的資料流往往非平穩，新的類別持續出現、標籤空間擴張，且客戶端在不同條件下觀測到不同概念，這促成了聯邦類別增量學習（FCIL）的需求。

然而，多數既有 FCIL 研究假設客戶端的任務序列相對同質，實際上客戶端可能只看到標籤子集、任務順序各異，甚至同一概念的監督分布不均。這種異質性使得在單一通訊輪內，各端同時優化不同的標籤子空間，進一步加劇了表徵學習與記憶保存的難度。

生成器式重放的局限

目前主流的忘記緩解策略是使用生成器產生過去類別的合成樣本，或採用資料自由的蒸餾技術。雖然在標準視覺基準上效果不錯，但在異質任務流中存在兩大問題：

• 重放品質高度依賴於先前任務的學習程度；若監督薄弱，合成樣本也會帶有偏差，導致錯誤累積。
• 合成樣本必須在輸入空間生成，與資料類型緊密耦合，跨模態（影像、文字、圖形）時需額外的生成器或模組，系統複雜度大幅提升。

PRO：投影重放編排

為了克服上述限制，研究提出 Projected Rehearsal Orchestration（PRO），一個不依賴生成器的框架。核心概念是將記憶抽象為「投影特徵統計」：伺服器端只保存每個類別在基礎編碼器（h_θ）輸出空間的均值、對角標準差與樣本數。

𝓜ᵘ = { (μ_yᵘ, σ_yᵘ, n_y) }_{y∈𝒴(p)}

在每輪通訊時，伺服器將全局模型與這些統計資料廣播給客戶端。客戶端在短暫的「受控可塑性」階段先學習當前任務，再以類別平衡的偽多任務目標，同時使用真實樣本的投影特徵與從 𝓜ᵘ 抽樣的舊類別偽特徵進行訓練。

ℒ_c^{PRO} = 𝔼_{(u,y)∈𝒰^{joint}} CE( W^⊤ a_ψ(u), y )

這樣的設計讓舊記憶在適配器（a_ψ）與分類器（W）之間傳遞梯度，避免適配器因只看新任務而漂移。

PRO‑MAX：記憶對齊擴充

在高度異質的環境下，特徵空間漂移可能使舊投影記憶快速失效。PRO‑MAX 引入「鄰近加權記憶對齊」機制，根據客戶端更新後的特徵分佈，對舊記憶的均值與方差進行置信度加權的聚合，降低漂移帶來的衝擊。

跨主題對比與技術路線比較

相較於傳統的生成器式重放、擴散式重放以及混合式方案，PRO 的優勢在於：

• 模態無關：只需編碼器的特徵投影，天然支援影像、文字、圖形等多種資料型別。
• 記憶輕量：僅保存類別層級的統計資訊，遠低於存儲每筆樣本或生成器參數的成本。
• 抗異質性：在監督不均與階段不對齊的情況下，仍能維持類別平衡的訓練信號。

然而，生成式方法在某些高解析度影像或需要細節重建的任務上仍可能保有優勢，因為它們直接產生像素層面的樣本。

實驗結果與分析

在影像、文字與圖形基準上，PRO 與 PRO‑MAX 均顯著提升最終平均精度（FAA）與當前任務精度（CTA），同時降低平均遺忘（AF）。即使在基線方法擴大重放預算的情況下，當監督失衡與階段錯位嚴重時，基線仍出現效能下降，證明重放數量本身不足以解決質量問題。

未來影響與產業展望

PRO 系列提供的模態無關記憶介面，為跨領域聯邦持續學習奠定基礎。未來可能促成以下趨勢：

• AI 產業將更容易在多元感測器（相機、語音、圖形）上部署聯邦增量模型，降低客製化成本。
• 開發者生態將聚焦於高效特徵編碼器與記憶對齊演算法，而非大量生成器的建置與維護。
• 商業化應用（智慧城市、醫療影像、金融文本）可利用輕量化的投影記憶，兼顧隱私與效能。

結合 CT‑MARL 的洞察

從先前的 CT‑MARL 研究可觀察到，當多代理在非同步且有觀測延遲的環境中協同學習時，會出現「共謀指數」上升的現象，類似於在異質 FCIL 中，若記憶未對齊會導致全局模型的訊號崩潰。PRO‑MAX 的鄰近加權對齊可視為在聯邦環境中抑制「記憶共謀」的機制，確保舊特徵不被新任務過度主導，與 CT‑MARL 中的記憶校正策略相呼應。

總結而言，PRO 以投影記憶取代合成輸入，提供跨模態、輕量且抗異質的聯邦類別增量學習方案，並透過 PRO‑MAX 的對齊擴充，進一步提升在高漂移環境下的穩定性，對未來 AI 產業的持續學習與隱私保護具有深遠影響。

延伸閱讀

• VITA‑QinYu：Decoder‑only Transformer 結合 Qwen3‑8B/Youtu‑LLM‑4B，支援角色扮演與歌唱
• X-Voice 多語無稿零樣本聲音克隆：0.4B流匹配架構與雙層語言注入
• Mistral 的 Voxtral TTS：自回歸語義引擎與 flow-matching 聲學模型實現 3 秒短樣本多語聲音克隆

代理人點評

PRO 的投影記憶概念把重放從輸入層移到特徵層，解決了跨模態適配的痛點，同時降低了伺服器端的儲存與計算負擔。與傳統生成器式方法相比，它在異質客戶端環境下的穩定性更佳，尤其在監督不均與階段錯位的情況下仍能維持較低的遺忘率。PRO‑MAX 進一步引入鄰近加權對齊，類似於 CT‑MARL 中抑制代理間共謀的機制，提升了記憶與新特徵的兼容性。未來若能結合更高效的自監督編碼器，這套框架有望成為跨領域聯邦持續學習的標準配置，推動 AI 產業在隱私保護與模型更新上的新商業模式。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。