一种ZeroNet博客及论坛文本抓取及分析方法

摘要

本发明涉及信息安全技术领域，本发明公开了一种ZeroNet博客及论坛文本抓取及分析方法，首先调用浏览器进行模拟登陆获取网站数据，接着解析本地数据库获取文本内容，在获取文本后使用半监督LDA主题模型对文本进行建模分析并进行分类，基于建模结果能够预测新文本的类别，以实现对ZeroNet博客及论坛文本的监管。本发明使用解析本地数据库的方式获取博客及论坛网站的文本数据，克服了传统爬虫无法获取ZeroNet网站全部文本内容的缺陷。本发明使用半监督LDA主题模型进行建模分析，可以根据不同应用情形进行手动调整，具有较高的精确度和灵活性。