多変量パターン分析と畳み込みニューラルネットワークを使用したfMRI応答からの視覚活動パターンのデコード

ヒトの脳活動の解読は、特に機能的磁気共鳴画像法（fMRI）データを使用した神経科学の主要な目標でした。近年、畳み込みニューラルネットワーク（CNN）は、より高い精度のために機能を抽出するための一般的な方法となっていますが、多くの計算データとトレーニングデータが必要です。この研究では、アルゴリズムが多変量パターン分析（MVPA）を使用して開発され、CNNを変更して、データセットが限られているさまざまな画像の脳の挙動を解読します。重要な機能の選択は、計算負担を軽減し、予測パフォーマンスを向上させるため、fMRIデータ分析の重要な部分です。重要な機能は、t検定を使用して選択されます。MVPAは、機械学習アルゴリズムを使用してさまざまな脳の状態を分類し、タスク中に予測に役立ちます。一般線形モデル（GLM）は、すべての個々のボクセルの未知のパラメーターを見つけるために使用され、分類はマルチクラスサポートベクターマシン（SVM）を使用して行われます。MVPA-CNNベースの提案されたアルゴリズムは、対象領域（ROI）ベースの方法およびMVPAベースの推定値と比較されます。提案された方法は、ROI（61.88％）および推定値（64.17％）と比較して、全体的な精度（68.6％）を示しました。

Decoding of human brain activity has always been a primary goal in neuroscience especially with functional magnetic resonance imaging (fMRI) data. In recent years, Convolutional neural network (CNN) has become a popular method for the extraction of features due to its higher accuracy, however it needs a lot of computation and training data. In this study, an algorithm is developed using Multivariate pattern analysis (MVPA) and modified CNN to decode the behavior of brain for different images with limited data set. Selection of significant features is an important part of fMRI data analysis, since it reduces the computational burden and improves the prediction performance; significant features are selected using t-test. MVPA uses machine learning algorithms to classify different brain states and helps in prediction during the task. General linear model (GLM) is used to find the unknown parameters of every individual voxel and the classification is done using multi-class support vector machine (SVM). MVPA-CNN based proposed algorithm is compared with region of interest (ROI) based method and MVPA based estimated values. The proposed method showed better overall accuracy (68.6%) compared to ROI (61.88%) and estimation values (64.17%).