首页> 中国专利> 一种基于不同更新策略的分布式网络爬虫抓取方法

一种基于不同更新策略的分布式网络爬虫抓取方法

摘要

本发明公开了一种基于不同更新策略的分布式网络爬虫抓取方法,属于获取计算机网页更新信息技术领域。所述基于不同更新策略的分布式网络爬虫抓取方法包括以下步骤:S1:网页更新策略:(1)通过网页不同属性,进行聚类分析,将相同的属性的网页分为一组;(2)对同一聚类组的网页进行抽样提取,通过历史参考策略确定网页的更新频率;(3)通过得到的网页更新频率,对网页进行定时抓取;S2:分布式集群搭建。本发明所述基于不同更新策略的分布式网络爬虫抓取方法,避免了实时监测网页是否更新,可以通过得到的网页更新频率来定时的进行网页更新,减低了系统存储的负担,具有很好的推广应用价值。

著录项

  • 公开/公告号CN105868327A

    专利类型发明专利

  • 公开/公告日2016-08-17

    原文格式PDF

  • 申请/专利权人 浪潮软件集团有限公司;

    申请/专利号CN201610181698.0

  • 发明设计人 封金煜;杨胜华;崔乐乐;

    申请日2016-03-28

  • 分类号G06F17/30(20060101);

  • 代理机构37100 济南信达专利事务所有限公司;

  • 代理人姜明

  • 地址 250100 山东省济南市高新区科航路2877号

  • 入库时间 2023-06-19 00:19:23

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-10-22

    发明专利申请公布后的视为撤回 IPC(主分类):G06F17/30 申请公布日:20160817 申请日:20160328

    发明专利申请公布后的视为撤回

  • 2016-08-17

    公开

    公开

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号