一种基于音视频信息的自动音乐记谱方法及系统

摘要

本发明涉及一种基于音视频信息的自动音乐记谱方法及系统，所述方法包含：采集钢琴演奏的视频和音频数据；依据采集的视频信息用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息；将同步后的视频音符备选范围序列集和音频音符备选范围序列集取交集确定演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息。