深くて浅いルール学習に関する経験的調査

帰納的ルール学習は、間違いなく機械学習における最も伝統的なパラダイムの1つです。ルールベースの理論を学習することで長年にわたってかなりの進歩を遂げてきましたが、すべての最先端の学習者は、入力機能をターゲット概念に直接関連付ける説明を依然として学習しています。最も単純な場合、概念学習、これは正のクラスの分離的な通常の形式（DNF）の説明です。これは論理的な観点から十分であることは明らかですが、すべての論理的式は同等のDNF式に還元できるため、中間概念を形成することによって深い理論を形成するより構造化された表現がより簡単になる可能性があることはおそらくより簡単になる可能性があります。学習するには、深いニューラルネットワークが浅いネットワークを上回ることができるのとほぼ同じ方法で、後者もユニバーサル関数近似器です。ただし、十分に強力なディープルール学習アルゴリズムを開発し、誘導ルール学習の最先端のディープルール学習アルゴリズムを開発する前に克服する必要があるいくつかの自明の障害があります。したがって、この論文では、別のアプローチを採用しています。均一な一般的なミニバッチベースの最適化アルゴリズムで最適化された深いルールセットと浅いルールセットを経験的に比較します。人工および現実世界のベンチマークデータの両方での実験では、ディープルールネットワークは浅いカウンターパートを上回りました。

Inductive rule learning is arguably among the most traditional paradigms in machine learning. Although we have seen considerable progress over the years in learning rule-based theories, all state-of-the-art learners still learn descriptions that directly relate the input features to the target concept. In the simplest case, concept learning, this is a disjunctive normal form (DNF) description of the positive class. While it is clear that this is sufficient from a logical point of view because every logical expression can be reduced to an equivalent DNF expression, it could nevertheless be the case that more structured representations, which form deep theories by forming intermediate concepts, could be easier to learn, in very much the same way as deep neural networks are able to outperform shallow networks, even though the latter are also universal function approximators. However, there are several non-trivial obstacles that need to be overcome before a sufficiently powerful deep rule learning algorithm could be developed and be compared to the state-of-the-art in inductive rule learning. In this paper, we therefore take a different approach: we empirically compare deep and shallow rule sets that have been optimized with a uniform general mini-batch based optimization algorithm. In our experiments on both artificial and real-world benchmark data, deep rule networks outperformed their shallow counterparts, which we take as an indication that it is worth-while to devote more efforts to learning deep rule structures from data.