电子商务环境下面向海量数据的个性化推荐系统的设计与实现

摘要

随着互联网的迅速发展，电子商务已经成功融入进人们的日常生活中，成为必不可少的一个部分。个性化推荐技术作为一种重要的信息过滤手段，目前被广泛用于电子商务的各项应用中。然而随着电子商务应用的用户和商品数量逐渐增多，数据规模急遽扩大，已有的推荐系统在性能和执行效率方面已逐渐落后，存在实时性差，稀疏性问题严重，计算效率低等缺点。
　　本文针对原有推荐技术在稀疏性、可扩展性、实时性等方面的问题，设计并实现了一个高效的个性化推荐系统。在推荐系统的离线部分，本文提出了一种全新的用户兴趣度模型——个性描述树，更准确地描述了用户对商品的兴趣度。在此模型基础上，提出了基于最小哈希聚集的电子商务个性化推荐算法PSLH，利用哈希聚集的方式求取用户之间的相似度以简化计算复杂度，并将其部署到云计算环境下，采用MapReduce技术实现算法并行化，有效提高算法的计算效率和可扩展性，缓解了稀疏性问题。除此之外，本文还提出了基于商品属性的关联规则挖掘算法ARM，利用关联规则挖掘技术发现商品的内在相关性，从而形成推荐，实现了推荐结果的多样性。在推荐系统的在线部分，本文利用web日志记录用户的行为，并根据最近行为形成实时推荐，有效缓解实时性问题。
　　本文所设计开发的个性化推荐系统被部署在东南大学云计算中心，并使用中国制造网的真实数据对系统进行测试，在此基础上本文设计了Portal电子商务平台对推荐系统产生的结果进行演示。测试结果表明，相对于传统的推荐算法，本文开发的个性化推荐系统中采用的算法具有良好的推荐性能和执行效率，完全符合拥有海量数据的电子商务环境对个性化推荐技术的需求。

目录

声明

摘要

图例索引

表例索引

第一章 引言

1．1 研究背景与意义

1．2 研究现状

1．2．1 个性化推荐技术概况

1．2．2 个性化推荐技术实际问题的研究进展

1．3 研究目标与内容

1．4 论文组织结构

第二章 个性化推荐系统的架构设计和Hadoop平台介绍

2．1 个性化推荐系统的架构设计

2．2 云计算环境下海量数据的处理

2．2．1 云计算研究现状

2．2．2 云计算环境下的海量数据平台Hadoop

第三章 用户兴趣度模型——个性描述树的分析与建立

3．1 用户兴趣度模型概述

3．2 个性描述树

第四章 云环境下基于最小哈希聚集的协同过滤算法的设计

4．1 最小哈希聚集算法

4．2 PSLH

4．3 MapReduce并行化

4．4 生成推荐

第五章 基于商品属性的关联规则挖掘算法

5．1 关联规则基本概念

5．2 关联规则挖掘算法的设计与实现

第六章 个性化推荐系统的实现与测试

6．1 系统部署环境与实验数据集

6．2 性能评估

6．2．1 推荐准确度评估

6．2．2 执行效率评估

6．3 系统演示

6．3．1 Portal电子商务平台简介

6．3．2 平台环境

6．3．3 结果演示

第七章 总结与展望

7．1 总结

7．2 展望

参考文献

致谢

作者在攻读硕士学位期间相关研究工作

作者简历