基于语义分析的智能搜索方法研究与应用

摘要

随着移动互联网的高速发展，网上购物已经成为人们日常生活中的一部分。而面对电商平台提供的海量商品信息，如何为用户精确地检索到所需商品信息便成为了众多电商平台需要解决的关键问题。目前电商平台主要利用搜索引擎对用户的查询请求进行关键词的匹配，并将检索结果通过相关度大小进行排序后返回给用户。由于电商平台面向的用户具有很大的文化差异，不是每一个用户都能够比较清晰地通过查询请求文本描述出自己所需商品信息，光靠用户的输入信息去匹配搜索到用户所描述的商品是不够精确的。本文将基于关键词的文本匹配转化为对查询请求进行自然语言语义层面上的理解，深入挖掘出查询请求的语义特征信息，获取到用户的需求商品意图，从而提高搜索的查准率和用户的购物体验。　　本文主要针对于自然语言处理在电商搜索领域的应用进行研究。鉴于深度学习模型在自然语言处理中的成功应用，本文设计了根据对用户的查询请求进行语义分析后获取其潜在的需求商品意图的智能搜索方法，同时实现了一个搜索系统用于测试和研究，旨在提高电商搜索的精准度。本文主要的研究工作包括：　　①基于词典和统计的方法对输入文本进行分词、词性标注操作，在解决歧义词识别上，通过构建最大概率有向无环图和双向最大匹配算法结合的方式获取分词路径，然后获取最大概率的词性标注序列来确定最佳路径。同时使用HMM模型进行未登录词识别。　　②使用word2vec的改进模型fasttext对词语进行向量化，获取用户查询请求的词向量序列，为挖掘出用户查询请求的语义信息提供基础。将包含了上下文特征的词向量序列、词性特征向量、序列位置向量作为特征输入，并通过注意力机制进行特征组合后作为最终输入向量进行LSTM神经网络模型训练，并通过反向传播算法不断更新神经网络参数，使得模型预测输出值接近设定输出值，完成神经网络模型对语义信息权重的刻画。　　③使用开源搜索框架elasticsearch搭建搜索系统，包含数据索引模块、语义分析模块、检索模块，实现搜索系统的基本功能。　　本文通过对用户查询请求进行语义分析，挖掘出了用户的真正需求商品类别信息，从而提高了商品搜索引擎的准确度，说明了语义分析对于电商智能搜索的有效性和可行性。

目录

1 绪论

1.1 研究意义及背景

1.2.1 电商搜索引擎现状

1.2.2 自然语言处理现状

1.2.3 深度学习现状

1.3 本文研究内容和组织架构

2 相关理论与关键技术

2.1 统计语言模型

2.1.1 N-garm模型

2.1.2 HMM模型

2.2 深度学习相关技术

2.2.1神经元

2.2.2神经网络框架

2.2.3 LSTM长短时记忆网络

2.3 搜索系统介绍

2.4 本章小结

3 基于词典和统计的中文分词

3.1 中文分词介绍

3.2.1 前缀词典语料库构建

3.2.2 基于DAG构建分词路径

3.2.3 动态规划最大权重路径

3.2.4 双向最大匹配算法

3.2.5 基于HMM的词性标注

3.2.6 基于HMM的未登录词识别

3.3 分词结果评估

3.4 本章小结

4 基于深度学习的语义分析算法

4.1.1 词向量介绍

4.1.2 词向量神经网络模型

4.1.3 词向量模型构建

4.2 基于注意力机制的输入特征组合

4.3 基于LSTM模型构建

4.4 模型结果反馈

4.5 本章小结

5 基于elastic search的搜索系统设计与实现

5.1 数据索引模块

5.2 文本分析模块

5.3 数据检索模块

5.4 搜索结果评估

5.5 本章小结

6 总结与展望

参考文献

附录

A. 学位论文数据集

致谢