自監督表徵學習

深度分析

InfoNCE 支援校正與多樣性條件在對比式學習中的理論與實驗驗證

對比式表徵學習在自監督領域廣受關注，但其能否恢復潛在幾何結構仍未完全說明。研究提出「多樣性條件」作為正樣本抽樣的支援需求，並證明在全支援的von Mises‑Fisher設定下，最小化全局對比損失可恢復潛在空間至正交變換；若抽樣多樣性受限，非正交映射可能取得更低損失。作者進一步設計支援校正的InfoNCE，使等距恢復再次可行，實驗在合成資料與CIFAR‑10上驗證了理論預測。