人工ニューラルネットワークトレーニングのための修正されたLevenberg-Marquardtアルゴリズムの安定性分析

Levenberg-MarquardtとNewtonは、Hessianを人工ニューラルネットワーク学習に使用する2つのアルゴリズムです。この記事では、トレーニングとテストの段階を含む人工ニューラルネットワーク学習のための修正されたLevenberg-Marquardtアルゴリズムを提案します。変更されたLevenberg-Marquardtアルゴリズムは、Levenberg-MarquardtおよびNewton Algorithmsに基づいていますが、次の2つの違いがあり、エラーの安定性と重みの境界を保証します。、修正されたLevenberg-Marquardtアルゴリズムの学習率には特異点はありませんが、2）Levenberg-MarquardtおよびNewton Algorithmsには3つの異なる学習率がありますが、修正されたLevenberg-Marquardtアルゴリズムには1つの学習率のみがあります。修正されたLevenberg-Marquardtアルゴリズムのエラーの安定性と重みの境界は、Lyapunov技術に基づいて保証されています。人工ニューラルネットワーク学習を、電気と脳の信号データセットを学習するための、修正されたLevenberg-Marquardt、Levenberg-Marquardt、Newton、および安定した勾配アルゴリズムと比較します。

The Levenberg-Marquardt and Newton are two algorithms that use the Hessian for the artificial neural network learning. In this article, we propose a modified Levenberg-Marquardt algorithm for the artificial neural network learning containing the training and testing stages. The modified Levenberg-Marquardt algorithm is based on the Levenberg-Marquardt and Newton algorithms but with the following two differences to assure the error stability and weights boundedness: 1) there is a singularity point in the learning rates of the Levenberg-Marquardt and Newton algorithms, while there is not a singularity point in the learning rate of the modified Levenberg-Marquardt algorithm and 2) the Levenberg-Marquardt and Newton algorithms have three different learning rates, while the modified Levenberg-Marquardt algorithm only has one learning rate. The error stability and weights boundedness of the modified Levenberg-Marquardt algorithm are assured based on the Lyapunov technique. We compare the artificial neural network learning with the modified Levenberg-Marquardt, Levenberg-Marquardt, Newton, and stable gradient algorithms for the learning of the electric and brain signals data set.