多人数会話シーン分析に向けた実時間マルチモーダルシステムの構築－マルチモーダル全方位センサを用いた顔方向追跡と話者ダイアリゼーションの統合

摘要

本稿では，複数人の対面会話シーンの分析に向けた実時間マルチモーダルシステムを提案する．このシステムでは，基本的な会話の状態を知るために，「誰がいつ話しているか」という話者の同定（話者ダイアリゼーションと呼ぶ），及び，「誰が誰をみているか」という視覚的な注意の焦点の推定を実時間で行うことを目標とする．まず，会話シーンを観測するために，2台の魚眼レンズ付きカメラと3本のマイクからなる全方位マルチモーダルセンサを提案する．次に，全周画像上にて会話参加者の顔の位置と方向の推定を行う．ここではその方法としてSTCTracker（疎テンプレートコンデンセーション追跡法）と呼ばれる方法を採用し，これをGPU（グラフィックスプロセッシングユニット）と呼ばれる並列ハードウェア上にて実行する．また，マイクからの音響信号に対して，音声区間検出と音声到来方向推定を組み合わせた話者ダイアリゼーションを行う．さらに分析の結果を三次元的に可視化する方法も提案する．画像と音響の処理にそれぞれ一台のPCを用い，5人会話に対して平均27.1[frame/sec]にて動作することを確認した．