秘密の注意の焦点と顕著性マップのデコードのための畳み込みニューラルネットワーク機能視覚化のためのマップ

目的：畳み込みニューラルネットワーク（CNN）は、関数近似として成功していることが証明されているため、脳コンピューターインターフェイス（BCI）の脳波（EEG）シグナルデコードなどの分類問題に使用されています。ただし、人工ニューラルネットワークはブラックボックスと見なされます。これは、通常、数千のパラメーターがあり、内部プロセスの解釈が困難になるためです。ここでは、EEG信号デコードにCNNSの使用を体系的に評価し、CNNモデルの決定プロセスを視覚化する方法を調査します。 アプローチ：オブジェクトの選択中にEEGイベント関連のポテンシャルから注意の焦点をデコードするためのCNNモデルを開発しました。CNNと、異なる次元のデータセットに適用される一般的に使用される線形判別分析（LDA）分類器のパフォーマンスを比較し、転送学習能力を分析しました。さらに、モデルを体系的に変更することにより、単一モデルコンポーネントの影響を検証しました。さらに、モデル出力を駆動する空間的および時間的機能を視覚化するためのツールとしての顕著性マップの使用を調査しました。 主な結果：CNNモデルとLDA分類器は、低次元データセットで同等の精度を達成しましたが、CNNは高次元データセットでLDAパフォーマンスを大幅に超えました（仮説駆動型プリプロセシングなし）。レベル= 8.3％）。並列畳み込み、TANHまたはELUの活性化関数、ドロップアウトの正則化は、モデルのパフォーマンスにとって価値があることが証明されましたが、連続畳み込み、Reluの活性化関数、およびバッチ正規化コンポーネントは精度を低下させるか、有意差は生じませんでした。顕著性マップは意味のある機能を明らかにし、このタスク中に予想されるP300コンポーネントの典型的な空間分布と遅延を表示しました。 重要性：体系的な評価に続いて、EEGデコードでCNNモデルをいつ、どのように使用するかについての推奨事項を提供します。さらに、生の高次元EEGデータでCNNモデルをトレーニングし、関連する特徴抽出のために顕著性マップを利用することにより、認知タスクの神経相関を調査するための新しいアプローチを提案します。

OBJECTIVE: Convolutional neural networks (CNNs) have proven successful as function approximators and have therefore been used for classification problems including electroencephalography (EEG) signal decoding for brain-computer interfaces (BCI). Artificial neural networks, however, are considered black boxes, because they usually have thousands of parameters, making interpretation of their internal processes challenging. Here we systematically evaluate the use of CNNs for EEG signal decoding and investigate a method for visualizing the CNN model decision process. APPROACH: We developed a CNN model to decode the covert focus of attention from EEG event-related potentials during object selection. We compared the CNN and the commonly used linear discriminant analysis (LDA) classifier performance, applied to datasets with different dimensionality, and analyzed transfer learning capacity. Moreover, we validated the impact of single model components by systematically altering the model. Furthermore, we investigated the use of saliency maps as a tool for visualizing the spatial and temporal features driving the model output. MAIN RESULTS: The CNN model and the LDA classifier achieved comparable accuracy on the lower-dimensional dataset, but CNN exceeded LDA performance significantly on the higher-dimensional dataset (without hypothesis-driven preprocessing), achieving an average decoding accuracy of 90.7% (chance level  =  8.3%). Parallel convolutions, tanh or ELU activation functions, and dropout regularization proved valuable for model performance, whereas the sequential convolutions, ReLU activation function, and batch normalization components reduced accuracy or yielded no significant difference. Saliency maps revealed meaningful features, displaying the typical spatial distribution and latency of the P300 component expected during this task. SIGNIFICANCE: Following systematic evaluation, we provide recommendations for when and how to use CNN models in EEG decoding. Moreover, we propose a new approach for investigating the neural correlates of a cognitive task by training CNN models on raw high-dimensional EEG data and utilizing saliency maps for relevant feature extraction.