非線形ニューラルネットワークにおける抗ヘビアン学習

Hebbianルール（Hebb 1949）は、シナプス重量の成長を制限する適切なメカニズムと相まって、ニューロンが入力信号の分布の最初の主成分に応答することを学ぶことができます（Oja 1982）。Rubner and Schulten（1990）は最近、階層的な横方向の接続を備えたネットワークで「抗ヘビアン」ルールの使用を提案しました。線形応答関数を備えたニューロンに適用すると、このモデルにより、追加のニューロンが追加の主成分に応答することを学ぶことができます（Rubner and Tavan 1989）。ここでは、しきい値と遷移幅を特徴とする非線形応答関数を使用して、モデルをニューロンに適用します。しきい値と遷移幅に関するローカルで監視されていない学習ルールを提案し、これらのルールの操作をいくつかの簡単な例で説明します。これらのルールを使用するネットワークは、入力パターンをクラスに並べ替え、バイナリコードによって識別されます。これは、より粗い構造が階層内の以前のニューロンによってコード化されます。

The Hebbian rule (Hebb 1949), coupled with an appropriate mechanism to limit the growth of synaptic weights, allows a neuron to learn to respond to the first principal component of the distribution of its input signals (Oja 1982). Rubner and Schulten (1990) have recently suggested the use of an "anti-Hebbian" rule in a network with hierarchical lateral connections. When applied to neurons with linear response functions, this model allows additional neurons to learn to respond to additional principal components (Rubner and Tavan 1989). Here we apply the model to neurons with non-linear response functions characterized by a threshold and a transition width. We propose local, unsupervised learning rules for the threshold and the transition width, and illustrate the operation of these rules with some simple examples. A network using these rules sorts the input patterns into classes, which it identifies by a binary code, with the coarser structure coded by the earlier neurons in the hierarchy.