映像と音声特徴に基づく映画のハイライトシーン抽出に関する研究

摘要

動画コンテンツのハイライトシーン抽出に関する研究は数多く見られるが，その多くはスポーツ映像やニュース映像など，構図やシナリオ等が既知のものを対象としている．本研究において，我々は映画やテレビドラマなどの動画コンテンツに対し，見せ場シーンに着目したハイライトシーン抽出手法を提案する．提案手法では動画コンテンツを音声と映像の2つの視点から捉え，それぞれから個別に特徴抽出を行う．これらの特徴抽出は，ハイライトシーン抽出の対象となる映像コンテンツに関する事前知識を全く必要とすることなく行われる．また，各々の特徴に対し重み付けを行い評価することにより，会話·動き·効果音それぞれに着目した映像メディアの検索が容易に行える．パブリックドメインのカラー実写映画およびアニメーションに対し，提案手法を適用し，特徴シーンの抽出およびそれに基づいたシーンの分割図の作成を行った．