遠隔PC要約筆記のための指示発話と動作の関連性分析

摘要

Hearing-impaired students need complementary technologies, such as remote transcription. We explain remote transcription. A transcriber watches the lecture as captured by camera and microphone and transcribes what an instructor says using a PC. The transcription is then sent to a display screen in the classroom. In remote transcription, a transcriber is difficult to assign a demonstrative speech phrase with a pointing object because he/she cannot look at the pointing object when the instructor utters the demonstrative speech phrase. Therefore, we are developing a system to assign the demonstrative speech phrase with the pointing object automatically and then display the pointing object when the transcriber input the demonstrative speech phrase. In this paper, we analyze a relation about the demonstrative speech phrases and the pointing object, which is required in above system. We describe about the method of audio signal processing based on the analysis about the demonstrative speech phrases and the method of a feature extraction associated with the analysis about the pointing behavior. From the result of the analysis, we propose a new extraction method of the demonstrative speech phrases that used a audio /visual information.%聴覚障害者への情報保障として、講師の音声・映像を遠隔地にいる筆記者へ送り、要約文を講義室内のスクリーンに提示する、遠隔PC要約筆記がある。遠隔PC要約筆記では、講師が指示しながら指示発話をした際に，要約筆記者がその指示動作を見ていない場合は対応付けすることが難しい．そのため、指示発話と指示対象とを自動的に対応付けすることで、筆記者が指示語を入力したとき対応した指示対象を表示するシステムの開発を行っている。 本研究では、上記システム作成のために必要となる処理である、指示発話抽出処理について、指示発話と動作との関連性の分析を行う。音声の指示発話に関する分析結果を利用した音声処理手法、映像の観察による指示動作に関連した特徴量抽出について述べた後、指示発話と動作の関連性を分析することで、指示発話特有の動作を見つけ、音声情報に加えて映像情報を利用した指示発話の抽出手法を提案する。