一种联合字幕和视频图像信息进行场景分割和索引的方法

摘要

本发明涉及一种联合字幕和视频图像信息进行场景分割与索引的方法，其特征在于，每条字幕持续时间段内视频帧集合作为场景聚簇的最小单元，包括步骤：获得场景聚簇的最小单元后，抽取至少3个或以上不连续的视频帧作为该条字幕的视频关键帧集合；使用双向SIFT关键点匹配方法比较若干个相邻最小单元关键帧的相似性，再结合字幕关联转移图建立字幕与场景的初始归属关系；对于被判定为不相似的连续最小聚簇单元利用其对应字幕的相关性进一步判断其是否可以进行合并；根据所确定的字幕场景归属关系进行视频场景抽取。对所抽取的视频场景片段，使用该片段所包含的字幕文本所生成的前向和倒排索引作为检索该视频片段的依据。