人間の脳の視聴覚シーケンスのクロスモーダル階層予測コーディング

予測コーディング理論は、脳が事前知識を使用して感覚情報を予測することを示唆しています。この理論は個々の感覚モダリティ内で広く研究されていますが、感覚モダリティを介した予測処理の証拠は限られています。ここでは、ある感覚モダリティの情報が別のモダリティの予測につながるときに、クロスモーダル予測の根底にある階層ネットワークを識別することにより、脳でクロスモーダルの知識がどのように表現および学習されるかを調べます。クロスモーダルの視聴覚ローカルグローバルオッドボールパラダイム中に脳波（EEG）を記録します。このパラダイムでは、トーンと画像間の遷移の予測可能性は、刺激レベルとシーケンスレベルの両方で操作されます。EEGデータの複雑な予測信号を分析するために、モダリティと階層を越えて神経相互作用を解くためのモデル適合アプローチを採用しました。モデル適合の結果は、個々の刺激相互作用と多刺激シーケンスの両方のレベルで視聴覚統合が発生することを示しています。さらに、階層とモダリティ全体の予測誤差信号の時空間署名を特定し、聴覚および視覚予測誤差がアルファ帯域相互作用を通じて学習中に中央頭頂電極に迅速にリダイレクトされていることを明らかにします。私たちの研究は、分散脳ネットワークによって単峰性の予測が処理され、クロスモーダル知識を形成するクロスモーダル予測コーディングメカニズムを示唆しています。

Predictive coding theory suggests the brain anticipates sensory information using prior knowledge. While this theory has been extensively researched within individual sensory modalities, evidence for predictive processing across sensory modalities is limited. Here, we examine how crossmodal knowledge is represented and learned in the brain, by identifying the hierarchical networks underlying crossmodal predictions when information of one sensory modality leads to a prediction in another modality. We record electroencephalogram (EEG) during a crossmodal audiovisual local-global oddball paradigm, in which the predictability of transitions between tones and images are manipulated at both the stimulus and sequence levels. To dissect the complex predictive signals in our EEG data, we employed a model-fitting approach to untangle neural interactions across modalities and hierarchies. The model-fitting result demonstrates that audiovisual integration occurs at both the levels of individual stimulus interactions and multi-stimulus sequences. Furthermore, we identify the spatio-spectro-temporal signatures of prediction-error signals across hierarchies and modalities, and reveal that auditory and visual prediction errors are rapidly redirected to the central-parietal electrodes during learning through alpha-band interactions. Our study suggests a crossmodal predictive coding mechanism where unimodal predictions are processed by distributed brain networks to form crossmodal knowledge.