深いニューラルネットワークにおけるパワーロー：優先的な添付ファイルを備えたまばらなネットワーク生成と継続的な学習

ディープニューラルネットワーク（DNNS）のトレーニングには、通常、大規模な計算能力が必要です。既存のDNNは、冗長性の高度により低い時間と貯蔵効率を示します。ほとんどの既存のDNNとは対照的に、膨大な数の接続を伴う生物学的およびソーシャルネットワークは非常に効率的であり、拡大するネットワークの優先的な添付ファイルによって発信される可能性のある電力法の分布を示すスケールフリーの特性を示しています。この作業では、最高のパフォーマンスを発揮するDNNSのトポロジーが、生物学的およびソーシャルネットワークに類似した電力法則を示しているかどうか、およびパワー法のトポロジを使用して、パフォーマンスとコンパクトなDNNを構築する方法を尋ねます。まず、まばらなDNNの接続性は、電力法のバリエーションの1つである切り捨てられた電力法の分布によってモデル化できることがわかりました。異なるDNNの比較は、最高のパフォーマンスのネットワークが電力法の分布と高度に相関していることを明らかにしています。さらに、DNNSの進化における優先添付ファイルをモデル化し、タスクの成長を伴うネットワークでの継続的な学習は、優先的な愛着のプロセスと相関することがわかります。DNNSで特定されたこれらの特定された電力法のダイナミクスは、優先的な取り付けに基づいて、非常に正確でコンパクトなDNNの構築につながる可能性があります。発見された調査結果に触発された2つの新しいアプリケーションが提案されています。これには、スパースネットワーク生成における最適なDNNSの進化や、パワーローダイナミクスを使用した効率的なネットワーク成長を伴う継続的な学習タスクが含まれます。実験結果は、提案されたアプリケーションが、他の確立されたベースラインよりも少ないサンプルでトレーニングをスピードアップし、ストレージを保存し、学習できることを示しています。優れたDNNSにおける優先的な愛着と権力法のデモンストレーションは、より効率的な深い学習の設計と構築に関する洞察を提供します。

Training deep neural networks (DNNs) typically requires massive computational power. Existing DNNs exhibit low time and storage efficiency due to the high degree of redundancy. In contrast to most existing DNNs, biological and social networks with vast numbers of connections are highly efficient and exhibit scale-free properties indicative of the power law distribution, which can be originated by preferential attachment in growing networks. In this work, we ask whether the topology of the best performing DNNs shows the power law similar to biological and social networks and how to use the power law topology to construct well-performing and compact DNNs. We first find that the connectivities of sparse DNNs can be modeled by truncated power law distribution, which is one of the variations of the power law. The comparison of different DNNs reveals that the best performing networks correlated highly with the power law distribution. We further model the preferential attachment in DNNs evolution and find that continual learning in networks with growth in tasks correlates with the process of preferential attachment. These identified power law dynamics in DNNs can lead to the construction of highly accurate and compact DNNs based on preferential attachment. Inspired by the discovered findings, two novel applications have been proposed, including evolving optimal DNNs in sparse network generation and continual learning tasks with efficient network growth using power law dynamics. Experimental results indicate that the proposed applications can speed up training, save storage, and learn with fewer samples than other well-established baselines. Our demonstration of preferential attachment and power law in well-performing DNNs offers insight into designing and constructing more efficient deep learning.