行動、ERP、および神経振動によって明らかにされた視聴覚カクテルパーティでのクロスモーダル相互作用

注意の理論は、オブジェクトが注意の選択の単位であると主張しています。実際の環境では、そのようなオブジェクトには視覚的および聴覚的特徴が含まれています。この事前に登録された研究で、多感覚環境で選択的注意のメカニズムがどのように機能するかを理解するために、2つのスピーカー（左と右）が同時に短い数字を明確に表現する視聴覚カクテルパーティの状況を作成しました。3つの別々のブロックでは、有益な聴覚音声が提示されました（a）単独または（b）合同または（c）情報のない視覚的音声とペアになりました。すべてのブロックで、被験者は事前に定義された数値を局在しました。視聴覚共同と情報のない音声は、拡散モデリングに従って応答時間と情報の取り込み速度を改善しましたが、ERP分析は、これが注意の関与の強化と一致しないことを明らかにしました。しかし、オブジェクトベースの注意の選択と一致して、視覚音声の情報内容に関係なく、聴覚空間的注意（N2AC）の展開には視覚空間的注意志向（N2PC）が伴いました。特に、N2PCコンポーネントは聴覚のみの状態では存在しませんでした。視覚空間的注意の健全な誘導シフトは、時間内に首尾一貫して進化する視聴覚機能の可用性に依存することを示しています。追加の探索的分析により、作業記憶におけるクロスモーダル相互作用と認知制御の変調が明らかになりました。

Theories of attention argue that objects are the units of attentional selection. In real-word environments such objects can contain visual and auditory features. To understand how mechanisms of selective attention operate in multisensory environments, in this pre-registered study, we created an audiovisual cocktail-party situation, in which two speakers (left and right of fixation) simultaneously articulated brief numerals. In three separate blocks, informative auditory speech was presented (a) alone or paired with (b) congruent or (c) uninformative visual speech. In all blocks, subjects localized a pre-defined numeral. While audiovisual-congruent and uninformative speech improved response times and speed of information uptake according to diffusion modeling, an ERP analysis revealed that this did not coincide with enhanced attentional engagement. Yet, consistent with object-based attentional selection, the deployment of auditory spatial attention (N2ac) was accompanied by visuo-spatial attentional orienting (N2pc) irrespective of the informational content of visual speech. Notably, an N2pc component was absent in the auditory-only condition, demonstrating that a sound-induced shift of visuo-spatial attention relies on the availability of audio-visual features evolving coherently in time. Additional exploratory analyses revealed cross-modal interactions in working memory and modulations of cognitive control.