一种面向网络新媒体的页面链接去重扫描方法及装置

摘要

本发明提出了一种面向网络新媒体的页面链接去重扫描方法及装置，该方法包括：对目标网站URL进行字段拆解处理；对拆解得到的字段进行分段处理，基于分段处理的结果生成链接特征值；将生成的链接特征值与链接特征库存储的特征值进行比较，以判断出目标网站URL是否为重复URL。本发明克服了现有技术对网站URL生成特征值并与已有特征值进行比较实现URL重复扫描效率低、工作强度大的缺陷，可以实现快速URL去重扫描，提高去重准确率，降低工作强度。