Kinectによる顔特徴量を利用した合成音声の感情表現·発話様式の直観的制御の検討

摘要

本稿では，テキスト音声合成においてユーザが容易に合成音声の感情表現·発話様式（スタイル）を変更できる手法として，Kinectによる顔特徴量を利用した重回帰隠れマルコフモデル（HSMM）に基づくスタイル制御法を提案する．提案法では，学習データに含まれるスタイルとその表出度合をユーザの顔特徴量であるAnimation Unit （AU）を説明変数とした重回帰により表現する．具体的にはHSMMの各分布の平均パラメータがAUパラメータによる重回帰で表されると仮定する．この際，元のAUパラメータ間の相関が問題となるため，主成分分析により直交化および次元削減を行う．合成時には顔の表情を所望のスタイルに応じて変化させることで，それに応じた合成音声を生成することができる．本稿では，適切なAUパラメータの次元数やユーザの違いによる性能の違いについて評価を行った結果を報告する．