人間の脳活動からの深い画像の再構築

知覚とイメージの精神的内容は、脳の階層表現でエンコードされていると考えられていますが、知覚内容を視覚化する以前の試みは、複数のレベルの階層を活用できなかったため、内部画像を再構築することは困難です。最近の研究は、機能的磁気共鳴画像法（fMRI）によって測定された視覚的皮質活動が、同じ入力画像の事前訓練を受けたディープニューラルネットワーク（DNN）の階層的特徴にデコード（翻訳）できることを示しました。階層的な視覚機能からの情報。ここでは、画像のピクセル値が最適化され、複数の層での人間の脳活動からデコードされたものと同様のDNN機能を作成するように最適化されている新しい画像再構成方法を提示します。私たちの方法は、視聴されている自然な画像に似た再構築を確実に生成できることがわかりました。ディープジェネレーターのニューラルネットワークによって導入された自然像は、再構築に意味的に意味のある詳細を効果的にレンダリングしました。再構築の人間の判断は、複数のDNN層を組み合わせて生成された画像の視覚的品質を向上させる有効性を支持しました。私たちのモデルは自然な画像のみで訓練されていましたが、人工形状に正常に一般化されており、モデルが単に模範と一致していないことを示しています。メンタルイメージに適用された同じ分析は、主観的な内容の基本的な再構成を実証しました。私たちの結果は、我々の方法が階層的な神経表現を効果的に組み合わせて知覚的および主観的な画像を再構築し、脳の内容に新しいウィンドウを提供できることを示唆しています。

The mental contents of perception and imagery are thought to be encoded in hierarchical representations in the brain, but previous attempts to visualize perceptual contents have failed to capitalize on multiple levels of the hierarchy, leaving it challenging to reconstruct internal imagery. Recent work showed that visual cortical activity measured by functional magnetic resonance imaging (fMRI) can be decoded (translated) into the hierarchical features of a pre-trained deep neural network (DNN) for the same input image, providing a way to make use of the information from hierarchical visual features. Here, we present a novel image reconstruction method, in which the pixel values of an image are optimized to make its DNN features similar to those decoded from human brain activity at multiple layers. We found that our method was able to reliably produce reconstructions that resembled the viewed natural images. A natural image prior introduced by a deep generator neural network effectively rendered semantically meaningful details to the reconstructions. Human judgment of the reconstructions supported the effectiveness of combining multiple DNN layers to enhance the visual quality of generated images. While our model was solely trained with natural images, it successfully generalized to artificial shapes, indicating that our model was not simply matching to exemplars. The same analysis applied to mental imagery demonstrated rudimentary reconstructions of the subjective content. Our results suggest that our method can effectively combine hierarchical neural representations to reconstruct perceptual and subjective images, providing a new window into the internal contents of the brain.