遠隔PC要約筆記のための指示発話と動作の関連性分析

摘要

聴覚障害者への情報保障として、講師の音声?映像を遠隔地にいる筆記者へ送り、要約文を講義室内のスクリーンに提示する、遠隔PC要約筆記がある。 遠隔PC要約筆記では、講師が指示しながら指示発話をした際に,要釣筆記者がその指示動作を見ていない場合は対応付けすることが難しい.そのため、指示発話と指示対象とを自動的に対応付けすることで、筆記者が指示語を入力したとき対応した指示対象を表示するシステムの開発を行っている。 本研究では、上記システム作成のために必要となる処理である、指示発話抽出処理について、指示発話と動作との関連性の分析を行う。 音声の指示発話に関する分析結果を利用した音声処理手法、映像の観察による指示動作に関連した特徴量抽出について述べた後、指示発話と動作の関連性を分析することで、指示発話特有の動作を見つけ、音声情報に加えて映像情報を利用した指示発話の抽出手法を提案する。