複雑なシステムのエントロピーの3つの面：情報、熱力学、および最大エントロピー原理

エントロピーを概念化するには、少なくとも3つの異なる方法があります。エントロピーは、広範な熱力学的量の物理システム（Clausius、Boltzmann、Gibbs）、エルゴジックソース（Shannon）の情報生成の尺度としてのエントロピー、および統計的推論の手段としてのエントロピー多項プロセス（Jaynesの最大エントロピー原理）。これらの概念は根本的に異なる概念を表していますが、平衡における熱力学的システム、情報理論のエルゴード源、および統計システムの独立したサンプリングプロセスのエントロピーの機能的形態は、退行します、h（p）= - ∑_ {i} p_ {i} logp_ {i}。通常、履歴依存性、非エルゴディック、および非平方組織である多くの複雑なシステムでは、これはもはやそうではありません。ここでは、このようなプロセスについて、3つのエントロピーの概念が異なる機能形式のエントロピーにつながることを示しています。これは、広範なエントロピーのS_ {ext}、情報理論のソース情報レートのS_ {IT}、およびS_ {{MEP}は、システムの最も可能性の高い観察可能な分布関数を特徴付ける、いわゆる最大エントロピー原理に表示されるエントロピー機能の場合。これらの3つのエントロピー機能を3つの具体的な例で明示的に計算します。単純な自己強化プロセスであるPólyaURNプロセス、サンプル空間還元（SSR）プロセス（SSR）プロセスは、パワーロー統計に関連する単純な履歴依存プロセスです。、そして最後に多項混合プロセスの場合。

There are at least three distinct ways to conceptualize entropy: entropy as an extensive thermodynamic quantity of physical systems (Clausius, Boltzmann, Gibbs), entropy as a measure for information production of ergodic sources (Shannon), and entropy as a means for statistical inference on multinomial processes (Jaynes maximum entropy principle). Even though these notions represent fundamentally different concepts, the functional form of the entropy for thermodynamic systems in equilibrium, for ergodic sources in information theory, and for independent sampling processes in statistical systems, is degenerate, H(p)=-∑_{i}p_{i}logp_{i}. For many complex systems, which are typically history-dependent, nonergodic, and nonmultinomial, this is no longer the case. Here we show that for such processes, the three entropy concepts lead to different functional forms of entropy, which we will refer to as S_{EXT} for extensive entropy, S_{IT} for the source information rate in information theory, and S_{MEP} for the entropy functional that appears in the so-called maximum entropy principle, which characterizes the most likely observable distribution functions of a system. We explicitly compute these three entropy functionals for three concrete examples: for Pólya urn processes, which are simple self-reinforcing processes, for sample-space-reducing (SSR) processes, which are simple history dependent processes that are associated with power-law statistics, and finally for multinomial mixture processes.