画像とテキストの利用による同一ニュースの言語横断検索

摘要

近年、ニュース映像のアーカイビングが重要となり、大量に蓄積されたニュース映像の整理や閲覧の効率化のためにトピックの検索・追跡技術が必要とされている。また、最近では、あるニュースの様々な観点からの内容理解などのため、国内だけでなく海外ニュース映像を閲覧する機会が増加している。そこで、我々は放送国の異なるニュース映像から同一ニューストピックを検索する技術に注目する。しかし、従来のテキストのみを用いた手法では機械翻訳の性能や放送国間の視点・文化的背景の違いにより十分な検索は困難である。本研究では、テキスト情報に加え、映像中の画像情報を用いてニューストピック間の類似性を決定することで、言語の違いにも頑強な同一ニュース検索を行なう手法を提案する。画像情報としては、映像間における同一素材映像の存在を用いる。実験の結果、テキスト情報を補う情報としての画像情報の有用性と画像・テキストの併用による検索精度の向上を確認した。%Recently, the importance of archiving news videos has increased. Therefore, for reusing large quantities of accumulated news videos efficiently and effectively, technology for news topic retrival and tracking is necessary. Moreover, in order to understand a certain topic from various viewpoints, the opportunity for viewing news programs from all over the world has increased. Therefore, we focus on identical event detection in various news programs from different countries. However, cross-lingual retrieval using text information is difficult due to the performance of machine translation and moreover, different viewpoints and cultures. In this paper, we propose a cross-lingual retrieval method for detecting identical news topics that exploits image information together with text information. We utilize the existence of near-duplicate video segments as a strong information for the purpose. In an experiment, we verified the effectiveness of making use of the existence of near-duplicate video segments and the possibility of improving retrieval performance by using them.