一种基于爬虫和文本聚类分析的网络舆情分析系统

摘要

本发明公开了一种基于爬虫和文本聚类分析的网络舆情分析系统，采用网络爬虫和文本处理、兴趣点数据挖掘等相关技术，应用垂直化搜索思想，对采集的网页信息进行数据预处理，在用户兴趣模型的基础上，对网页信息进行个性化搜索；然后对检索出的网页文本数据进行分类、聚类和内容提取分析，最后形成兴趣点数据统计报告，并通过个性化搜索系统的软件界面将信息展示和推送给用户。总思路为以用户为中心，采用模块化设计思想，构建用户兴趣模型；在此基础上，深度融合网页文本数据挖掘、数据库索引等相关技术，建立基于主题爬虫和文本处理的个性化搜索系统。