匿名网站信息爬取技术研究

摘要

爬取匿名网站的信息是对匿名网站进行有效监管的重要基础.剖析了表层网络、深网、暗网与匿名网络等概念之间的区别与联系,分析了Tor,I2P,HORNET等几种常见的匿名网络技术,给出了一种通过将Scrapy接入Polipo服务器,和Tor浏览器结合进入Tor网络,以实现Tor匿名网站网页爬取的方法,为监管暗网提出了一种可行的技术手段.