基于改进的用户偏好与物品特征主题的混合协同过滤算法研究

摘要

随着网络技术的发展，互联网数据呈指数级增长，各式各样的信息充斥着人们的日常生活。虽然与日俱增的数据缓解了人们信息匮乏的困扰，极大方便了人们的生活，但随着数据信息量逐渐增大，如何让人们精准、有效地获取信息成为一个亟待解决的问题。当前大多数人都是通过搜索系统如百度、谷歌来获取信息，但当数据量越来越大，搜索系统要求较强交互的弊端就显现出来，而推荐系统的出现，有效解决了搜索系统的不足。基于大数据的推荐系统不仅减少了用户与系统必要的交互行为，还可以为用户定制个性化方案，有效提高用户获取信息的效率。 本文通过分析传统协同过滤算法的原理，认识到传统协同过滤算法在用户评分数据缺失或极度稀疏时所表现出的不足。为了缓解协同过滤算法的数据稀疏性问题，本文对用户评论文本数据进行分析，提取文本数据中的潜在主题，将潜在主题与评分数据相结合，构建基于改进的用户偏好与物品特征主题的混合协同过滤算法。 在算法改进方面，本文利用文本挖掘技术对文本进行预处理，利用LDA主题模型提取文本中的潜在主题，并针对LDA主题模型存在的不足进行改进。在将评论文本数据融入协同过滤算法过程中，本文进行了分词、停用词剔除、词形还原、词性标注以及文本向量化等一系列文本数据预处理工作。在词性标注过程中，本文结合现有文献以及自身经验，将文本中无法反映主题的词汇剔除，不仅减少了文本中的噪声数据，还提高了模型的预测准确度。文本数据预处理完成之后，本文利用LDA主题模型分别从用户、物品层面进行主题提取，构建用户偏好主题以及物品特征主题，并将构建的主题用于协同过滤算法中相似度的计算，有效降低相似度计算的复杂程度。在利用主题分布进行相似度计算时，一方面，考虑到LDA主题模型无法区分主题情感倾向的不足，本文根据用户评分数据，构建评论态度指标来衡量用户对物品的喜好程度;另一方面，考虑到协同过滤算法忽视了时间对推荐结果的影响，本文根据评论时间数据构建时间因素指标，针对用户兴趣变化问题，提出用户兴趣变化指标，针对物品热度衰减问题，提出物品热度衰减指标。在构建各类指标之后，本文针对用户构建基于改进的用户偏好主题的协同过滤算法，针对物品构建基于改进的物品特征主题的协同过滤算法。最终根据召回率、提升度等评价指标，通过不断迭代计算的方式，确定两个改进协同过滤算法的组合参数，构建基于改进的用户偏好与物品特征主题的混合协同过滤算法。 实证结果表明，与其他传统协同过滤算法相比，本文提出的基于改进的用户偏好与物品特征主题的混合协同过滤算法在一定程度上缓解了数据稀疏性问题，同时能够提高协同过滤算法的推荐准确度。

目录

摘要

第一章绪论

第一节研究背景及研究意义

一、研究背景

二、研究意义

第二节国内外研究现状

一、基于内容的协同过滤

二、基于多源信息的协同过滤

三、文献评述

一、研究内容

二、组织结构

三、研究框架

第四节创新点及研究难点

二、研究难点及解决方法

第二章协同过滤相关理论及方法阐述

第一节协同过滤算法

一、基于用户的协同过滤

二、基于物品的协同过滤

三、相似度计算

第二节文本挖掘

一、评论文本在推荐系统中的应用

二、文本预处理

第三节LDA主题模型

一、LDA主题模型概述

二、实现步骤

第三章协同过滤算法的改进研究

第一节协同过滤算法存在的问题

一、数据稀疏性

二、时间因素

第二节基于主题的协同过滤算法及其改进思路

一、评论主题分布

二、基于主题的协同过滤算法的优点及不足

三、改进思路

第三节基于改进的用户偏好主题的协同过滤算法

一、结合评论态度与用户兴趣变化改进的用户偏好

二、改进的用户相似度

三、评分预测

四、基于改进的用户偏好主题的协同过滤算法流程

第四节基于改进的物品特征主题的协同过滤算法

一、结合评论态度与物品热度衰减改进的物品特征

二、改进的物品相似度

三、评分预测

四、基于改进的物品特征主题的协同过滤算法流程

第五节基于改进后的混合协同过滤算法的实现

一、混合方式的确定

二、改进后的混合协同过滤算法

第四章基于改进后的混合协同过滤算法实证分析

第一节数据集与软硬件环境

一、Amazon电子产品数据集

二、软硬件环境

第二节基于分布特征的数据选取

一、训练集与测试集选取

二、基于评论次数的目标选择

第三节文本预处理

一、词性标注

二、词云展示

三、向量化处理

四、基于LDA模型的主题提取

第四节实证结果与分析

二、改进的有效性分析

三、参数确定

四、性能对比

第五章总结与展望

第一节总结

第二节展望

参考文献

附录

致谢

声明