Wiimote及びKinectを用いたューザコントロールを導入した音楽に合った舞踊動作の自動生成

摘要

This paper presents a new approach for synthesizing dance performance matched to input music, based on the emotional aspects of dance performance. Since the sensor reads express intensities of users' body movements, the system can synthesize character motions whose intensities are synchronized to those of users. Our analysis method extracts motion rhythm and intensity from motion capture data and musical rhythm, structure from musical signals. With the results of this analysis, we generate a motion graph that can generate character motions matched to the musical rhythm. For synthesizing dance performance, we select the motion segment set whose intensity by sensor data and connectivity is matched to that of music segments. As the results, our system adds an interactive component to live dancing performed by virtual characters.%近年，キャラクターアニメーションに関する研究が数多く行われ，エンターテイメントの分野に応用されている.本稿ではユーザの盛り上がりをWiimoteとKinectを用いて取得し，舞踊アニメーションの動作生成に導入する手法を提案する.モーションキヤプチャデータを用いて，ユーザの盛り上がりに同調するようにキャラクタの動きを生成することでユーザとのインタラクテイビティを実現する.本手法では，音楽データからは楽曲構造解析によって曲をセグメントに分割し，リズム特徴量を抽出する.モーションキヤプチャデータからは，モーシヨンのリズムと盛り上がりを抽出する.これらの解析結果から，音楽のリズムと高い相関を示す動きセグメントを取り出し，モーション遷移グラフを生成する.舞踊生成時はそれぞれのセンサデータから取得したユーザの盛り上がり値とモーションの盛り上がりのマッチングを行い，モーション遷移グラフを探索することで舞踊動作を自動生成する.この手法を用いて，ヴァーチャルキャラクタとインタラクティブにダンスを行えるアプリケーシヨンを開発し，それぞれのインタフェースについて考察を行った.