使用多个视觉输入模态的视觉搜索

摘要

提供了用于web规模的视觉搜索的、能够使用视觉输入模态的组合的系统、方法和计算机可读存储媒体。创建边缘元索引，其包括对应于多个图像中的每个图像的形状描述符，所述形状描述符包括基于边缘元的表示。每个基于边缘元的表示包括描绘图像的边缘或边界轮廓的像素，并且至少部分地通过将所述图像分段成多个图像段以及在每个段上执行多相轮廓检测而被创建。在接收到具有视觉查询输入的搜索查询后，视觉查询输入被转换成包括基于边缘元的表示的形状描述符，以及多个图像中的每个图像的、包括基于边缘元的表示的形状描述符被与所述视觉查询输入的、包括基于边缘元的表示的形状描述符进行比较，以便识别所述多个图像中的、与所述视觉查询输入匹配的至少一个图像。