基于过渡帧插值的音乐驱动舞蹈动作合成

摘要

随着动作捕捉技术的发展,基于音乐的舞蹈生成技术逐渐成为一大研究热点,而如何提高音乐和舞蹈的匹配以及舞蹈生成的真实性是研究的关键点.本文提出的基于过渡帧插值的音乐驱动舞蹈合成,旨在解决为音乐合成与其局部节奏和强度匹配且衔接自然的舞蹈动作问题.为了充分挖掘音乐和舞蹈的局部相关性和提高生成舞蹈的丰富性,先对目标音频分段,然后对音乐片段和动作数据库中已有的动作片段进行特征匹配分析,最后对和目标音乐片段特征匹配的动作片段进行过渡帧插值衔接.本文提出的过渡帧插值算法,使插值后的动作同时保留前一帧动作和后一帧动作的特征,避免动作突变,从而实现自然过渡.另外,提出一种音乐驱动舞蹈合成的框架,包含音乐和动作的共同特征提取、特征匹配分析和动作片段的插值衔接.音乐和动作的共同特征提取从节奏和强度出发,特征匹配分析利用节奏点的同步程度和强度分布的相似性.实验结果表明:本文提出的算法能合成逼真的舞蹈动作,具体合成舞蹈视频在项目网站上呈现.