回帰のためのモデル選択の比較

モデル選択の分析方法の経験的比較について説明します。現在、線形推定器の単純なケースであっても、有限サンプル推定問題の最良の方法に関するコンセンサスはありません。この記事では、回帰問題のためのVapnik -Chervonenkis（VC）理論に基づく、古典的な統計的方法（AKAIKE情報基準（AIC）およびベイズ情報基準（BIC））と構造リスク最小化（SRM）法との経験的比較を示します。私たちの研究は、Hastie、Tibshirani、およびFriedman（2001）の経験的比較によって動機付けられています。これは、SRMメソッドがモデル選択のためにパフォーマンスが低いと主張し、AICが優れた予測パフォーマンスをもたらすことを示唆しています。したがって、さまざまなデータセットとさまざまなタイプの推定器（線形、サブセットの選択、およびK-nearest Neighter回帰）の経験的比較を示します。私たちの結果は、VCベースのモデル選択の実際的な利点を示しています。すべてのデータセットのAICを常に上回ることができます。私たちの研究では、SRMとBICの方法は同様の予測パフォーマンスを示しています。この矛盾（同じデータを使用して得られた経験的結果の間）は、Hastie et al。の方法論的な欠点によって引き起こされます。（2001）、特にSRMメソッドのゆるい解釈と適用において。したがって、意味のある比較とSRMメソッドの実用化に重要な方法論的問題について説明します。また、経験的比較のためのモデルの複雑さ（VC次元）の正確な推定の重要性を指摘し、K-Nearest Neighbors回帰のモデル複雑さの新しい実用的な推定を提案します。

We discuss empirical comparison of analytical methods for model selection. Currently, there is no consensus on the best method for finite-sample estimation problems, even for the simple case of linear estimators. This article presents empirical comparisons between classical statistical methods - Akaike information criterion (AIC) and Bayesian information criterion (BIC) - and the structural risk minimization (SRM) method, based on Vapnik-Chervonenkis (VC) theory, for regression problems. Our study is motivated by empirical comparisons in Hastie, Tibshirani, and Friedman (2001), which claims that the SRM method performs poorly for model selection and suggests that AIC yields superior predictive performance. Hence, we present empirical comparisons for various data sets and different types of estimators (linear, subset selection, and k-nearest neighbor regression). Our results demonstrate the practical advantages of VC-based model selection; it consistently outperforms AIC for all data sets. In our study, SRM and BIC methods show similar predictive performance. This discrepancy (between empirical results obtained using the same data) is caused by methodological drawbacks in Hastie et al. (2001), especially in their loose interpretation and application of SRM method. Hence, we discuss methodological issues important for meaningful comparisons and practical application of SRM method. We also point out the importance of accurate estimation of model complexity (VC-dimension) for empirical comparisons and propose a new practical estimate of model complexity for k-nearest neighbors regression.