デュアルタスクパラダイムを使用してノイズの音声を理解するために費やされた努力の評価：視覚的な音声の手がかりを提供することの効果

目的：デュアルタスクパラダイムを使用して、2つの実験（実験1および2）を実施して、視聴覚（AV）およびオーディオのみ（Aのみの）モダリティのノイズの音声を理解するために費やされたリスニング努力の量の違いを評価しました。実験1の両方のモダリティで同等のノイズレベルがあり、実験2は、AVとAのみのモダリティのノイズを増加させることにより、音声認識パフォーマンスレベルを同等にしました。 方法：60人の大人が実験1または実験2にランダムに割り当てられました。参加者は、発話および触覚認識タスクを個別に（単一タスク）と同時に（デュアルタスク）実行しました。スピーチタスクは両方のモダリティで実行されました。精度と反応時間のデータは、知覚された精度と努力の評価と同様に収集されました。 結果：実験1では、AVモダリティの音声認識は労力が少ないと評価され、精度スコアはAのみよりも高かった。実験2では、反応時間は遅く、触覚のタスクのパフォーマンスが低下し、Aのみのモダリティに対して、リスニングの努力が高まりました。 結論：同等のノイズレベルでは、AのみのモダリティよりもAVで音声認識パフォーマンスが向上し、主観的に労力が少なくなりました。同等の精度レベルでは、デュアルタスクのパフォーマンスの低下（両方のタスク）は、ノイズの多いAVモダリティがAのみのモダリティよりも労力が多かったことを示唆しています。

PURPOSE: Using a dual-task paradigm, 2 experiments (Experiments 1 and 2) were conducted to assess differences in the amount of listening effort expended to understand speech in noise in audiovisual (AV) and audio-only (A-only) modalities. Experiment 1 had equivalent noise levels in both modalities, and Experiment 2 equated speech recognition performance levels by increasing the noise in the AV versus A-only modality. METHOD: Sixty adults were randomly assigned to Experiment 1 or Experiment 2. Participants performed speech and tactile recognition tasks separately (single task) and concurrently (dual task). The speech tasks were performed in both modalities. Accuracy and reaction time data were collected as well as ratings of perceived accuracy and effort. RESULTS: In Experiment 1, the AV modality speech recognition was rated as less effortful, and accuracy scores were higher than A only. In Experiment 2, reaction times were slower, tactile task performance was poorer, and listening effort increased, in the AV versus the A-only modality. CONCLUSIONS: At equivalent noise levels, speech recognition performance was enhanced and subjectively less effortful in the AV than A-only modality. At equivalent accuracy levels, the dual-task performance decrements (for both tasks) suggest that the noisier AV modality was more effortful than the A-only modality.