動画の特徴情報に基づく楽曲自動生成方式に関する一検討

摘要

動画に合った楽曲を自動的に生成するシステムを構築した．動画の各フレームから，色情報や特徴点の移動情報を抽出し，これを音の高さや長さなどの音楽的要素に対応させて楽曲を生成する．楽曲の調は動画の平均色，速度は動画の特徴点の平均移動距離に基づいて決定する．楽曲は動画の映像カット区間長に基づきに対応して，前奏，Aメロ，Bメロ，サビ，間奏，後奏で構成する．また，メインメロディ，サブメロディ，ベース，ドラムの4パート譜構成とし，メロディ·ベースは主に特徴点の移動，ドラムは特徴点の移動距離や出現する色などにより変化させる．本方式に基づき動画から楽曲を生成した結果，動画の変化に合った楽曲を生成することができた．