さまざまな確率モデルの適応自然勾配学習アルゴリズム

自然勾配法には、プラトーによって引き起こされる標準勾配降下法のゆっくりとした学習速度を解決する理想的な動的動作があります。ただし、フィッシャー情報マトリックスとその逆を計算する必要があります。これにより、自然勾配の実装がほとんど不可能になります。この問題を解決するために、フィッシャー情報マトリックスの逆の推定値を計算する適応方法に関する予備研究が提案されています。このホワイトペーパーでは、適応性のある自然勾配法を拡張して、任意のノイズモデルを使用した回帰と任意の数のクラスを使用した分類に適用できるように拡張できることを示します。これらのモデルに適応性のある自然勾配の明示的な形式を示します。ベンチマークの問題に関する計算実験を通じて、提案されたアルゴリズムの実際的な利点を確認します。

The natural gradient method has an ideal dynamic behavior which resolves the slow learning speed of the standard gradient descent method caused by plateaus. However, it is required to calculate the Fisher information matrix and its inverse, which makes the implementation of the natural gradient almost impossible. To solve this problem, a preliminary study has been proposed concerning an adaptive method of calculating an estimate of the inverse of the Fisher information matrix, which is called the adaptive natural gradient learning method. In this paper, we show that the adaptive natural gradient method can be extended to be applicable to a wide class of stochastic models: regression with an arbitrary noise model and classification with an arbitrary number of classes. We give explicit forms of the adaptive natural gradient for these models. We confirm the practical advantage of the proposed algorithms through computational experiments on benchmark problems.