基于互联网爬虫技术的互联网内容资源探测方法

摘要

基于互联网爬虫技术的互联网内容资源探测方法。本发明涉及内容资源探测子系统主要是通过对全网热点网站的深度探测和挖掘，获取相关信息，属于通信技术领域。本发明方法包括：a)普通网站资源获取；b)基于ip地址的多站点调度机制的网站探测；c)脚本动态执行分析；d)提供全网资源探测的能力；e)通过不同第三方出口爬取资源的能力；f)资源管理平台子系统探测指令接收；g)普通网站的域名识别分析；h)对无法直接爬取的资源分析；i)对视频、音频类网站识别分析；j)对于下载类的网站识别分析；k)资源的归属情况分析；l)对网站调度的分析识别及系统输出；m)内容探测与质量测试结合。