近似重复记录的增量式识别算法

摘要

数据清理是数据仓库中的一个重要研究内容,近似重复记录的识别是其中的一个技术难点.文章介绍了近邻排序方法,并以此为基础,研究了在数据模式与匹配规则不变的前提下,数据源动态增加时近似重复记录识别问题,提出了一种增量式算法IMPN(Incremental Multi-Pass sorted-Neighborhood).文章最后给出了实验结果.