閉塞および腹内側前頭前野皮質抽象化と一般化の補強学習問題の構造を一般化する

刺激間の関係など、問題の構造に関する知識は、迅速な学習と柔軟な推論を可能にします。人間や他の動物は、この構造的知識を抽象化し、それを一般化して新しい問題を解決することができます。たとえば、空間的推論では、新しい環境で最も短いパスの推論が即座にあります。空間構造伝達は、異なる環境と行動状態にわたって同時活性構造を維持する偏見的および（人間）内側前頭前野の細胞によって媒介されます。ここでは、fMRIを使用して、問題の構造を一般化する上で、胚性および腹内側前頭前皮質（VMPFC）表現がはるかに広い役割を果たすことを示します。タスクレマップのパラダイムを紹介します。このパラダイムでは、被験者が構造的または感覚特性が異なる複数の強化学習（RL）の問題を解決します。空間と同様に、タスク構造が保存されている場合にのみ、異なるRLの問題にわたって偏見表現が保存されていることを示します。VMPFCおよび腹側線条体では、予測誤差の表現もタスク構造に依存します。

Knowledge of the structure of a problem, such as relationships between stimuli, enables rapid learning and flexible inference. Humans and other animals can abstract this structural knowledge and generalize it to solve new problems. For example, in spatial reasoning, shortest-path inferences are immediate in new environments. Spatial structural transfer is mediated by cells in entorhinal and (in humans) medial prefrontal cortices, which maintain their co-activation structure across different environments and behavioral states. Here, using fMRI, we show that entorhinal and ventromedial prefrontal cortex (vmPFC) representations perform a much broader role in generalizing the structure of problems. We introduce a task-remapping paradigm, where subjects solve multiple reinforcement learning (RL) problems differing in structural or sensory properties. We show that, as with space, entorhinal representations are preserved across different RL problems only if task structure is preserved. In vmPFC and ventral striatum, representations of prediction error also depend on task structure.