関節エントロピーを介したマルチディデリティ最大値エントロピー検索の一般化されたフレームワーク

Bayesian Optimization（BO）は、高価なブラックボックスの最適化問題の一般的な方法です。ただし、すべての反復で目的関数を照会することは、効率的な検索機能を妨げるボトルネックになる可能性があります。この点で、マルチディデリティベイジアン最適化（MFBO）は、サンプリングコストが低いと利用可能な低忠実度の観測を組み込むことにより、BOを加速することを目指しています。以前の研究では、よく知られているMax-Value Entropy Search（MES）の実用的な有効性と計算シンプルさを継承するマルチディデリティMax-Value Entropy Search（MF-MES）と呼ばれるMFBOへの情報理論的アプローチを提案しました。単一の忠実度BOの場合。ただし、MF-MESの適用可能性は、単一の観察結果が順次取得される場合に依然として限定されています。この手紙では、複数の観測が同時に取得された場合でも情報ゲインを評価できるように、MF-MESを一般化します。この一般化により、MF-MESは2つの実際的な問題設定に対処できます：同期並列化とトレースアウェアクエリ。これらの拡張機能の取得関数は、追加の仮定を導入せずにMF-MESの単純さを継承することを示します。また、MF-MESのすべてのバリエーションに一般的に使用できる、取得関数におけるエントロピー評価と事後サンプリングのための計算手法も提供します。MF-MESの有効性は、ベンチマーク関数と、材料科学データや機械学習アルゴリズムのハイパーパラメーターチューニングなどの実際のアプリケーションを使用して実証されています。

Bayesian optimization (BO) is a popular method for expensive black-box optimization problems; however, querying the objective function at every iteration can be a bottleneck that hinders efficient search capabilities. In this regard, multifidelity Bayesian optimization (MFBO) aims to accelerate BO by incorporating lower-fidelity observations available with a lower sampling cost. In our previous work, we proposed an information-theoretic approach to MFBO, referred to as multifidelity max-value entropy search (MF-MES), which inherits practical effectiveness and computational simplicity of the well-known max-value entropy search (MES) for the single-fidelity BO. However, the applicability of MF-MES is still limited to the case that a single observation is sequentially obtained. In this letter, we generalize MF-MES so that information gain can be evaluated even when multiple observations are simultaneously obtained. This generalization enables MF-MES to address two practical problem settings: synchronous parallelization and trace-aware querying. We show that the acquisition functions for these extensions inherit the simplicity of MF-MES without introducing additional assumptions. We also provide computational techniques for entropy evaluation and posterior sampling in the acquisition functions, which can be commonly used for all variants of MF-MES. The effectiveness of MF-MES is demonstrated using benchmark functions and real-world applications such as materials science data and hyperparameter tuning of machine-learning algorithms.