リアルタイム音声合成のための非侵襲的脳コンピューターインターフェース：マルチモーダルフィードバックの重要性

脳波グラフィーを使用して、モーターイメージの脳コンピューターインターフェイス（BCI）の研究を実施し、瞬時の聴覚と視覚フィードバックを使用して、フォーマント周波数音声シンセサイザーを継続的に制御しました。3セッションのトレーニング期間にわたって、16人の参加者が3つの母音（/ Textipa I/ [Heed]、/ Textipa A/ [Hot]、および/ Textipa U/ [Who'd]）の生産のためにBCIを制御することを学びました。3つのグループに分かれていました。合成された音声の単峰性聴覚フィードバックを受けている人、フォーマント周波数の単峰性視覚フィードバックを受けた人、およびマルチモーダル、視聴覚（AV）フィードバックを受けた人。オーディオフィードバックは、フォーマント周波数の人工音声シンセサイザーによって提供され、視覚的なフィードバックは、最初の2つのフォーマント周波数によって定義された平面のグラフィカルな表現に関する2Dカーソルとして与えられました。AVフィードバックを組み合わせることで、聴覚情報または視覚情報の単峰性フィードバックと比較して、精度までの距離、ターゲットまでの距離、およびターゲットまでの移動時間に関して、最大のパフォーマンスが発生することがわかりました。これらの結果は、BCIの進行の一般的なバイオフィードバック信号としてではなく、マルチモーダルフィードバックがBCIタスクの目標にとって意味のある場合、パフォーマンスが向上することを示しています。

We conducted a study of a motor imagery brain-computer interface (BCI) using electroencephalography to continuously control a formant frequency speech synthesizer with instantaneous auditory and visual feedback. Over a three-session training period, sixteen participants learned to control the BCI for production of three vowel sounds (/ textipa i/ [heed], / textipa A/ [hot], and / textipa u/ [who'd]) and were split into three groups: those receiving unimodal auditory feedback of synthesized speech, those receiving unimodal visual feedback of formant frequencies, and those receiving multimodal, audio-visual (AV) feedback. Audio feedback was provided by a formant frequency artificial speech synthesizer, and visual feedback was given as a 2-D cursor on a graphical representation of the plane defined by the first two formant frequencies. We found that combined AV feedback led to the greatest performance in terms of percent accuracy, distance to target, and movement time to target compared with either unimodal feedback of auditory or visual information. These results indicate that performance is enhanced when multimodal feedback is meaningful for the BCI task goals, rather than as a generic biofeedback signal of BCI progress.