視覚シーンのアフォーダンス特性に対する皮質反応の根底にある計算メカニズム

コンピュータービジョンタスクのために訓練された生物学的にインスピレーションを受けた深い畳み込みニューラルネットワーク（CNNS）は、顕著な精度で皮質反応を予測することがわかっています。ただし、これらのモデルの内部操作はよく理解されていないままであり、その成功を説明する要因は不明です。ここでは、CNNを使用して皮質応答の根底にある計算メカニズムに関する洞察を得るための一連の手法を開発します。私たちは、背側後頭皮質のシーン選択的領域である後頭部の場所領域（OPA）の応答に焦点を当てました。以前の研究では、OPAのfMRI活性化パターンには、シーンのナビゲーションアフォーダンスに関する情報が含まれていることが示されました。つまり、すぐに環境内で移動できる場所とできない場所に関する情報です。純粋にフィードフォワード計算のセットを使用して、このアフォーデンス情報を抽出できると仮定しました。このアイデアをテストするために、シーン分類のために以前に訓練されていたフィードフォワードアーキテクチャを備えた深いCNNを調べました。シーン画像に対するCNNの応答は、OPAのfMRI応答を非常に予測することがわかりました。さらに、CNNは、シーンのナビゲーションアフォーダンスに関連するOPA分散の部分を占めました。したがって、CNNは、OPAにおけるアフォーダンス関連の応答の画像コンパート可能な候補モデルとして機能する可能性があります。次に、このモデルで一連のシリコ実験を実行して、その内部操作に関する洞察を得ました。これらの分析は、アフォーダンス関連の特徴の計算が、高空間周波数と基本的な方向での視覚情報に大きく依存していることを示しました。また、これらの計算は、OPAの既知の網膜バイアスと一致する、低い視野での情報に対する強い優先度も示しました。CNN内の特徴選択性の視覚化は、アフォーダンスベースの応答が、境界を定義する接合部や大きな拡張表面など、空間環境のレイアウトを定義する機能をエンコードしたことを示唆しています。一緒に、これらの結果は、OPAの感覚機能を完全に定量的なモデルにマッピングし、視覚的な計算に関する洞察を提供します。より広く言えば、それらは、皮質感覚関数の識別から基礎となるアルゴリズムのモデリングまで、複数のレベルの分析にわたって視覚皮質を理解するための統合技術を前進させます。

Biologically inspired deep convolutional neural networks (CNNs), trained for computer vision tasks, have been found to predict cortical responses with remarkable accuracy. However, the internal operations of these models remain poorly understood, and the factors that account for their success are unknown. Here we develop a set of techniques for using CNNs to gain insights into the computational mechanisms underlying cortical responses. We focused on responses in the occipital place area (OPA), a scene-selective region of dorsal occipitoparietal cortex. In a previous study, we showed that fMRI activation patterns in the OPA contain information about the navigational affordances of scenes; that is, information about where one can and cannot move within the immediate environment. We hypothesized that this affordance information could be extracted using a set of purely feedforward computations. To test this idea, we examined a deep CNN with a feedforward architecture that had been previously trained for scene classification. We found that responses in the CNN to scene images were highly predictive of fMRI responses in the OPA. Moreover the CNN accounted for the portion of OPA variance relating to the navigational affordances of scenes. The CNN could thus serve as an image-computable candidate model of affordance-related responses in the OPA. We then ran a series of in silico experiments on this model to gain insights into its internal operations. These analyses showed that the computation of affordance-related features relied heavily on visual information at high-spatial frequencies and cardinal orientations, both of which have previously been identified as low-level stimulus preferences of scene-selective visual cortex. These computations also exhibited a strong preference for information in the lower visual field, which is consistent with known retinotopic biases in the OPA. Visualizations of feature selectivity within the CNN suggested that affordance-based responses encoded features that define the layout of the spatial environment, such as boundary-defining junctions and large extended surfaces. Together, these results map the sensory functions of the OPA onto a fully quantitative model that provides insights into its visual computations. More broadly, they advance integrative techniques for understanding visual cortex across multiple level of analysis: from the identification of cortical sensory functions to the modeling of their underlying algorithms.