一种基于噪音清除的网页削重算法

摘要

提出了一种基于噪音清除的网页削重算法.首先应用空间向量模型,仅仅使用二元组表示网页,降低削重算法的时空复杂度;其次,通过一组启发式规则来消除网页中包含的“噪音”,消除了无关信息对网页核心内容的干扰.