手から声のメディア変換モデルと手のジェスチャーモデルの確率的統合に基づく異メディア空間の対応付けの検討

摘要

発声器官の制御に障害を持つ構音障害者が会話をする場合、文字や記号の入力を介して音声を生成する機器を用いることが多い．しかし、リアルタイムに自由な発話をすることが難しく、障害者が会話の主導権を握れない等の問題が指摘されている．そこで本研究では、文字や記号を介きない音声生成として、障害者自身の構苫器官以外の身体運動から直接音声を生成するシステムの構築を検討している．近年、二話者から与えられたパラレルデータに対して、統計的に空間写像を設計する手法が話者変換の分野で用いられている．この手法を応用し、本研究では、身体運動の特徴量空間から吉声の特徴量空間への写像に基づく音声生成系を検討している．これまでに、手姿勢（ジェスチャー）を入力とした日本語五母音の連続音声生成において、本手法が有効であることを報告した．本稿では、母音のみのパラレルデータを用いて音声ージェスチャー変換システムを構築し、それに子吉吉声を入力することにより、子吉に割り当てるジェスチャーを推定する手法を検討した．%When individuals with speaking disabilities, dysarthrics, try to communicate using speech, they often have to use speech synthesizers which require them to type word symbols or sound symbols. This input method often makes realtime operations difficult and dysarthric users fail to control the flow of conversation. In this study, we are developing a new and novel speech synthesizer where not symbol inputs but hand motions are used to generate speech. In recent years, statistical mapping techniques have been proposed for voice conversion. Based on these methods, we developed a system to convert hand motions to vowel transitions by finding the mapping between a hand space and a vowel space. We found that the proposed method was effective to generate utterances of Japanese five vowels. In this paper, we discuss how to extend this system for consonant generation. We develop a Speech-to-Hand conversion system trained from parallel data for vowels only to infer the gestures corresponding to consonants.