一般に，聴覚と視覚は相互に影響し合っていることが知られており，音声の聞き取りにおいては，視覚情報が音声情報の補完に役立っていることが考えられる.そこで本研究では，音声聞き取り時における視覚情報の役割を探る実験を行った.はじめに，顔映像が音声聞き取りに与える影響を検証する実験を行った.その結果，音声の聞き取りにくい環境においてのみ，顔映像は聞き取りに貢献し，視線は話者の口元に集中することが示された.そのため，次に聞き取りにおける発話者の口の動きの影響と特性について実験を行った.実験では，顔映像内の一部分の動きだけを編集するシステムを構築し，このシステムで作成した映像を刺激として用いた.その結果，極端な口の動きは，聞き取り率を低下させ，音声聞き取りへの貢献度が低いことが示された.%Hearing and vision are affecting each other, visual information may contribute to auditory information when we recognize a speech. This study examined the contribution of visual information of speaker's face to speech cognition. In the first experiment, we analyzed the changes of eye movements of the experimental participants during speech cognition. Results of this experiment showed that accuracy of repeat has improved by visual information and that participants tended to look at speaker's mouth when noise was added to voice. Next, we experimented the contribution of the movement of the mouth to speech cognition. For this experiment, we constructed a system to change movement amount of certain parts of the face picture and made materials by this system. Results of this experiment showed that accuracy of repeat was lower in material of normal picture when materials were fixed motion picture and increase motion picture.
展开▼
