ニューラルネットワーク学習をスパイクするためのスパースの正則化によるバックプロパゲーション

スパイクニューラルネットワーク（SNN）は、生物系のスパイク駆動型およびスパース性の特徴を活用する低電力およびエネルギー効率の高い処理とコンピューティングの可能な経路です。この記事では、スパース駆動型のSNN学習アルゴリズム、すなわち、スパースリグリゼーション（BPSR）を備えたバックプロパゲーションを提案し、スパイクとシナプスのスパースを改善することを目指しています。スパイクの正規化を組み込んだバックプロパゲーションは、精度を保証してスパイク発火率を最小限に抑えるために利用されます。Backpropagationは、一時的な情報キャプチャを実現し、脳のような構造学習をサポートするためにスパイクリカレント層まで拡張します。シナプス正規化による再配線メカニズムは、ネットワーク構造の冗長性をさらに軽減するために提案されています。体重と勾配に基づく再配線は、シナプスの剪定と成長を調節します。実験結果は、BPSRによって学んだネットワークがシナプススパース性を持ち、生物学的系と非常に類似していることを示しています。精度と発火率のバランスをとるだけでなく、情報冗長性を抑制することによりSNN学習を促進します。視覚データセットMNIST、N-MNIST、およびCIFAR10で提案されたBPSRを評価し、センサーデータセットMIT-BIHおよびガスセンサーでさらにテストします。結果、私たちのアルゴリズムが、まばらなスパイクやシナプスを伴う関連作品と比較して同等または優れた精度を達成することを想定しています。

The spiking neural network (SNN) is a possible pathway for low-power and energy-efficient processing and computing exploiting spiking-driven and sparsity features of biological systems. This article proposes a sparsity-driven SNN learning algorithm, namely backpropagation with sparsity regularization (BPSR), aiming to achieve improved spiking and synaptic sparsity. Backpropagation incorporating spiking regularization is utilized to minimize the spiking firing rate with guaranteed accuracy. Backpropagation realizes the temporal information capture and extends to the spiking recurrent layer to support brain-like structure learning. The rewiring mechanism with synaptic regularization is suggested to further mitigate the redundancy of the network structure. Rewiring based on weight and gradient regulates the pruning and growth of synapses. Experimental results demonstrate that the network learned by BPSR has synaptic sparsity and is highly similar to the biological system. It not only balances the accuracy and firing rate, but also facilitates SNN learning by suppressing the information redundancy. We evaluate the proposed BPSR on the visual dataset MNIST, N-MNIST, and CIFAR10, and further test it on the sensor dataset MIT-BIH and gas sensor. Results bespeak that our algorithm achieves comparable or superior accuracy compared to related works, with sparse spikes and synapses.