一种基于MapReduce的实体共指消解方法

摘要

在信息技术和工业自动化迅速发展的时代，源源不断地产生着大批量的数据，这些数据中大量指代同一实体的重复数据，给数据分析和处理带来了很大的困难。在以往研究的基础上，提出了一种基于MapReduce的实体共指消解的方法，该方法通过引入权重和相似度的度量指标，利用Hadoop平台和MapReduce框架把数据处理成key．value数据实体对的形式，进而对数据进行共指消解处理。经过实验，表明了该方法能够提高实体共指消解的准确率和速度，满足了企业在当前形势下实体共指消解的需求。