［招待講演］全天球映像に対応したバイノーラル苗を生成するための方向別収音に関する検討

摘要

ヘッドマウンドディスプレイ（HMD）やスマートホンを用いて，全天球カメラで撮像した映像から，好きな方向の映像を見渡せるアプリケーションがサービス化されてきた。本研究の目的は，ユーザが見渡している映像に対応した音を生成することである。マイクロホンアレイを用いて観測した信号群を方向別に音源分離（方向別収音）し，頭部伝達特性（HRTF）を畳んだ後に再合成することで，ユーザの頭部方向に合ったバイノーラル音を仮想的に生成する。方向別収音の一方式として，局所PSD推定に基づいて，多チャネルのウィーナーフィルタを生成する方式を用いた。本研究では，立体視可能なHMDとヘッドホンを用いて，ユーザの頭部方向に応じた映像と音をリアルタイムに生成·提示可能な全天球映像音声視聴系を構築した。また，構築したシステムを用いた主観評価実験を通じて，映像に対応した音像定位を提示できているかについて調査した。実験結果より，40度程度の角度幅で方向別収音することで，全天球映像に対応した舌像を定位できることを確認した。