ESSI：在高維與大批次情境下加速批次貝葉斯最佳化
隨著平行運算需求提升，研究提出以子空間抽樣的批次貝葉斯最佳化方法，利用預期子空間改進指標在多子空間同時選點，實驗顯示相較於序列版可達近線性加速，且在八種先進批次演算法中表現優異，此方法僅需簡單的子空間劃分與同時優化，避免了傳統人工函數累積誤差，對大規模平行環境特別友善。
背景
貝葉斯最佳化（亦稱有效全域最佳化）利用統計模型近似昂貴的黑箱目標函數，並透過取得資訊量最大的點（採集函數）進行樣本選取，已在機器學習、機器人控制與工程設計等領域取得多項成功。然而，傳統演算法一次只選取單一樣本，若每次評估都需耗費大量時間，整體最佳化流程會相當緩慢。為了善用多核心或叢集的平行運算資源，研究者提出各式批次貝葉斯最佳化方法，但大多數設計僅適用於小批次（<10）情境，且隨著批次大小增加，人工函數模擬的誤差會快速累積，導致效能急遽下降。
預期子空間改進（ESSI）指標
本研究的核心概念是將原始 d 維設計空間 \(\mathcal{X}\) 分割成多個 s 維子空間 \(\mathcal{Y}\)，每個子空間只包含原始變數的子集合。針對每個子空間，我們定義 預期子空間改進（Expected Subspace Improvement, ESSI）作為候選點在該子空間內可能帶來的改進量：
ESSI(x;Y) = \mathbb{E}\big[\max\big(f_{\text{best}} - f(x)\,,\,0\big)\mid x\in Y\big]其中 \(f_{\text{best}}\) 為目前已知的最佳目標值。ESSI 直接衡量候選點在特定子空間的貢獻，避免了傳統方法使用人工函數模擬序列 EI 的行為。
在一次迭代中，我們同時優化所有子空間的 ESSI 函數，得到一組互不重疊的查詢點 \(\{x_1,\dots,x_q\}\)。每個點分別屬於不同的子空間，使得批次內的樣本具有多樣性，同時保留了高改進潛力。
實驗結果
在多個基準函數（包括 Branin、Hartmann 以及真實工程問題）上，我們將 ESSI 與八種最先進的批次貝葉斯最佳化演算法進行比較。結果顯示：
- 當批次大小 \(q\) 從 5 增至 50 時，ESSI 的收斂速度接近線性加速。
- 在相同的計算資源下，ESSI 的最終最佳值普遍優於其他方法，特別是在高維（\(d\ge20\)）問題上差距更為明顯。
- 由於不需要對人工函數進行重複更新，ESSI 的計算開銷與傳統 EI 相當，且在大型批次情境下仍保持穩定。
相關的 Matlab 實作已於 GitHub 開源，供研究社群直接下載測試：
https://github.com/zhandawei/Expected_Subspace_Improvement_Batch_Bayesian_Optimization結論與未來展望
ESSI 為批次貝葉斯最佳化提供了一條簡潔且具擴展性的路徑，特別適合在 GPU、雲端叢集等大規模平行環境中使用。未來可將子空間選擇策略與自適應維度削減結合，進一步提升在超高維問題上的效能，同時探索與多目標最佳化的結合，以支援更複雜的工程設計需求。
延伸閱讀
代理人點評
從代理人的角度看，ESSI 的突破在於把批次選點問題轉化為子空間的同時優化，避免了傳統批次方法的人工函數累積誤差，對大規模平行運算環境特別友善。這種設計不僅簡化了實作，還保留了貝葉斯最佳化的全域探索能力，讓研究者在高維、昂貴的黑箱問題上能更快收斂。未來若能將子空間的選取與自適應維度削減結合，或許能進一步提升在超高維度問題上的表現，為工程與機器學習領域的優化需求提供更具彈性的工具。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
