大数据中基于语义一致性的近似性搜索哈希算法

摘要

随着大数据时代的到来，互联网中的数据呈爆炸式增长。在海量高维的数据中，实现快速最近邻搜索具有重大的现实意义。哈希算法因其快速有效性成为近邻搜索技术中的研究热点。哈希算法的基本思想是把特征空间中高维的数据映射成汉明空间中低维的二进制码，并在汉明空间中保留特征空间的相似性。
　　本文首先研究了锚图哈希算法，锚图哈希算法把数据转换成特征空间的节点，通过选取少量的锚节点，并以节点和锚节点的相关性近似表示节点之间的相关性，从而降低了拉普拉斯矩阵特征值和特征向量的计算复杂度，提高了哈希算法的有效性。然而，锚图哈希算法通过节点在特征空间中的欧式距离表示相关性，没有考虑到节点之间的语义相关性。针对此问题，本文提出了基于语义一致性的锚图哈希算法，通过利用节点标记信息，以半监督的方式，对距离度量进行学习，以得到优化的转换矩阵来计算节点间的相关性，并通过随机梯度下降方法进一步降低开销。
　　同时，本文介绍了两种距离度量学习方案：遍历三元组方案和不遍历三元组方案，其中不遍历三元组方案以性能略微下降为代价换取训练耗时的较大缩减。最后，通过大规模公开图片数据库对算法的性能进行了验证，在多个指标上验证了本算法的优越性。

目录

声明

专用术语注释表

图表清单

第一章 绪论

1.1研究背景和意义

1.2近似性搜索领域的研究现状

1.3论文的主要研究内容

1.4论文的结构

第二章 哈希算法相关技术

2.2基于图论的近似性搜索哈希算法

2.3 语义一致性技术研究

2.4性能评价指标

2.5本章小结

第三章 基于语义一致性的锚图哈希算法

3.3语义一致性的实现方案

3.4基于语义一致性的锚图哈希算法的实现

3.5本章小结

第四章 基于语义一致性的锚图哈希算法在图片检索中的应用

4.2单标记数据集实验结果和分析

4.3多标记数据集实验结果和分析

4.4本章小结

第五章 总结与展望

参考文献

附录1 攻读硕士学位期间撰写的论文

附录2 攻读硕士学位期间申请的专利

附录3 攻读硕士学位期间参加的科研项目

致谢