推荐系统中近邻算法与矩阵分解算法效果的比较——基于Movielens数据集

摘要

推荐系统的产生源自海量信息过载问题，在各式各样的推荐系统中，发展出了很多高效的算法，使得如今推荐系统在电子商务，社交媒体，广告系统，搜索引擎等领域取得了一定的成功。一般来讲，推荐算法分为基于内容和协同过滤两种方式，其中基于内容的推荐至今未取得较好的效果，协同过滤却取得了广泛的应用。传统的协同过滤技术基于推荐对象之间的相似度，通过近邻对象来进行推荐，但是这样的方式会带来海量的计算，限制实时推荐的应用。为了达到更高的精度，减少计算复杂度，最近一段时间，从机器学习中的隐因子分析得到启发，发展出了隐因子模型的推荐算法。这种方法使用奇异值分解或者随机梯度下降等方法将用户的评分矩阵分解为用户和产品的特征矩阵。本文着重讨论了两种隐因子模型：奇异值分解和随机梯度下降。然后比较了它们和传统最近邻算法在Movielens电影推荐系统真实数据集上的效果。试验结果表明，奇异值分解和随机梯度下降算法的“平均绝对误差”比“最近邻算法”分别下降了14.6％和17.9％。我们可以看出相对于传统的最近邻算法，这两种方法在movielens推荐系统真实数据集上能够取得更好的效果。