視聴覚時間知覚に対する子音と母音の明確化における身体的違いの効果の評価

音声の明確化に関連する身体的違いが、視聴覚音声認識の時間的側面にどのように影響するかを調査しました。3つの異なるスピーカーによって発せられた子音と母音のビデオクリップが提示されました。ビデオクリップは、信号の顕著性と行動データを比較するために、聴覚視覚信号顕著性モデルを使用して分析されました。参加者は、どの音声（聴覚または視覚）が最初に提示されたかに関して、時間順序判断（TOJ）を行いました。参加者のTOJの感度と主観的な同時性（PSS）のポイントは、子音の場所、明確な方法、および母音の舌の高さ/背中の機能の関数として分析されました。視覚的なスピーチ信号がより顕著であるアーティキュレーションと丸みの場所の場合、音声の時間的知覚は視覚的なスピーチ信号によって変調されると予想しました。アーティキュレーションや身長の方法には、そのような効果は予想されませんでした。結果は、位置と関節の方法で、参加者の時間的知覚が（常に有意ではないが）、PSSでの小さな視覚リードを必要とする視覚的シグナルとの非常に優れた音声シグナルによって影響を受けたことを示しています。これは、高さが評価された場合ではありませんでした。これらの発見は、視聴覚音声認識の場合、非常に顕著な視覚的スピーチ信号が、音声刺激の多感覚統合の時間的窓を調節する聴覚署名の同一性に関するより高い確率につながる可能性があることを示唆しています。

We investigated how the physical differences associated with the articulation of speech affect the temporal aspects of audiovisual speech perception. Video clips of consonants and vowels uttered by three different speakers were presented. The video clips were analyzed using an auditory-visual signal saliency model in order to compare signal saliency and behavioral data. Participants made temporal order judgments (TOJs) regarding which speech-stream (auditory or visual) had been presented first. The sensitivity of participants' TOJs and the point of subjective simultaneity (PSS) were analyzed as a function of the place, manner of articulation, and voicing for consonants, and the height/backness of the tongue and lip-roundedness for vowels. We expected that in the case of the place of articulation and roundedness, where the visual-speech signal is more salient, temporal perception of speech would be modulated by the visual-speech signal. No such effect was expected for the manner of articulation or height. The results demonstrate that for place and manner of articulation, participants' temporal percept was affected (although not always significantly) by highly-salient speech-signals with the visual-signals requiring smaller visual-leads at the PSS. This was not the case when height was evaluated. These findings suggest that in the case of audiovisual speech perception, a highly salient visual-speech signal may lead to higher probabilities regarding the identity of the auditory-signal that modulate the temporal window of multisensory integration of the speech-stimulus.