一時的なヘビアンの更新で皮質階層を学習します

哺乳類の知能の主要な推進力は、複数の抽象化レベルで入ってくる感覚情報を表す能力です。たとえば、視覚腹部の流れでは、着信信号は最初に低レベルのエッジフィルターとして表され、次に高レベルのオブジェクト表現に変換されます。同様の階層構造は、オブジェクト認識タスクのために訓練された人工ニューラルネットワーク（ANN）に日常的に出現し、同様の構造が生物学的ニューラルネットワークの根底にある可能性があることを示唆しています。ただし、古典的なANNトレーニングアルゴリズムであるBack -Propagationは生物学的に信じられないと考えられているため、平衡伝播、ディープフィードバック制御、監視された予測コーディング、および樹状突起誤差バックプロパゲーションなど、代替生物学的にもっともらしいトレーニング方法が開発されています。これらのモデルのいくつかは、頂端と体の活動を比較することにより、各ニューロンについてローカルエラーが計算されることを提案しています。それにもかかわらず、神経科学の観点からは、ニューロンがどのように区画信号を比較できるかは明らかではありません。ここでは、この問題の解決策を提案します。これは、頂端フィードバック信号がシナプス後発火率を変更し、これをクラシックスパイク時間依存可塑性（STDP）のレートベースのバージョンである差動ヘブアンアップデートと組み合わせるという点で提案します。このフォームの重量の更新は、機械学習で使用されるエラーベースの損失、つまり推論潜時と必要なトップダウンフィードバックの量と同等であることが証明される2つの代替損失関数を最小化することを証明します。さらに、差分ヘブの更新の使用は、予測コーディングや平衡伝播などの他のフィードバックベースのディープ学習フレームワークで同様にうまく機能することを示します。最後に、私たちの研究は、深い学習のための生物学的にもっともらしいモデルの重要な要件を削除し、時間的なヘビアン学習ルールが監視された階層学習をどのように実装できるかを説明する学習メカニズムを提案します。

A key driver of mammalian intelligence is the ability to represent incoming sensory information across multiple abstraction levels. For example, in the visual ventral stream, incoming signals are first represented as low-level edge filters and then transformed into high-level object representations. Similar hierarchical structures routinely emerge in artificial neural networks (ANNs) trained for object recognition tasks, suggesting that similar structures may underlie biological neural networks. However, the classical ANN training algorithm, backpropagation, is considered biologically implausible, and thus alternative biologically plausible training methods have been developed such as Equilibrium Propagation, Deep Feedback Control, Supervised Predictive Coding, and Dendritic Error Backpropagation. Several of those models propose that local errors are calculated for each neuron by comparing apical and somatic activities. Notwithstanding, from a neuroscience perspective, it is not clear how a neuron could compare compartmental signals. Here, we propose a solution to this problem in that we let the apical feedback signal change the postsynaptic firing rate and combine this with a differential Hebbian update, a rate-based version of classical spiking time-dependent plasticity (STDP). We prove that weight updates of this form minimize two alternative loss functions that we prove to be equivalent to the error-based losses used in machine learning: the inference latency and the amount of top-down feedback necessary. Moreover, we show that the use of differential Hebbian updates works similarly well in other feedback-based deep learning frameworks such as Predictive Coding or Equilibrium Propagation. Finally, our work removes a key requirement of biologically plausible models for deep learning and proposes a learning mechanism that would explain how temporal Hebbian learning rules can implement supervised hierarchical learning.