ハイブリッド極端な回転林

このペーパーでは、分類問題のための革新的なアンサンブル学習アルゴリズムであるハイブリッドエクストリームローテーションフォレスト（HERF）を提案し、古典的な決定ツリーと最近提案された極端な学習マシン（ELM）トレーニングのニューラルネットワークのトレーニングを組み合わせています。HERFアルゴリズムでは、個々の分類子のトレーニングには2つのステップが含まれます。最初のトレーニングデータのランダム化データ回転変換の計算、2番目に、回転データの個々の分類子をトレーニングします。テストデータは、アンサンブルの各分類器に固有のトレーニングデータと同じ変換の対象となります。この論文の実験設計には、（a）ランダム化回転マトリックスを計算するための因数分解アプローチの比較：主成分分析（PCA）とQuartimax、（b）データの正規化とトレーニングデータの選択の効果の評価、（c）正規化されたニレを含む、シングルと組み合わせのエルムと意思決定木のすべてのバリアント。この実験設計には、投票エルムやランダムフォレストなど、比較において、他の最先端のアンサンブルアプローチが効果的に含まれています。機械学習ベンチマークデータベースのコレクションに関する広範な結果を報告します。テストされた実験データセットと分類器ごとの交差検証結果は、HERFが他の最先端のアンサンブル分類器よりも大幅に改善すると結論付けています。その上、Quartimaxを使用したデータの回転がPCAで改善されるなど、他のいくつかの結果、およびアンサンブルアプローチによって実行される事実上の正則化に起因する正規化に対するアプローチの相対的な非感受性が見つかります。

This paper proposes the Hybrid Extreme Rotation Forest (HERF), an innovative ensemble learning algorithm for classification problems, combining classical Decision Trees with the recently proposed Extreme Learning Machines (ELM) training of Neural Networks. In the HERF algorithm, training of each individual classifier involves two steps: first computing a randomized data rotation transformation of the training data, second, training the individual classifier on the rotated data. The testing data is subjected to the same transformation as the training data, which is specific for each classifier in the ensemble. Experimental design in this paper involves (a) the comparison of factorization approaches to compute the randomized rotation matrix: the Principal Component Analysis (PCA) and the Quartimax, (b) assessing the effect of data normalization and bootstrapping training data selection, (c) all variants of single and combined ELM and decision trees, including Regularized ELM. This experimental design effectively includes other state-of-the-art ensemble approaches in the comparison, such as Voting ELM and Random Forest. We report extensive results over a collection of machine learning benchmark databases. Ranking the cross-validation results per experimental dataset and classifier tested concludes that HERF significantly improves over the other state-of-the-art ensemble classifier. Besides, we find some other results such as that the data rotation with Quartimax improves over PCA, and the relative insensitivity of the approach to regularization which may be attributable to the de facto regularization performed by the ensemble approach.