基于人工智能推理引擎的微博数据挖掘方法研究

摘要

针对微博数据搜索过程中存在的信息量不对称,搜索精度和搜索效率较低的问题.基于人工智能推理引擎技术来实现对微博网页数据的采集和获取,满足用户端需求的定准定制.将人工智能应用于网络爬虫程序,通过API并结合混合策略对网路爬虫进行改进,消除了网络爬虫行进中的无关链接,提高信息资源收集的精确度;在数据挖掘过程中,采用具有和语义具有相似性的词频-反稳定频率(TF-IDF)函数来计算词语语义的相似度,引入特征权重作为特征向量重要程度的指标,建立组合相似度策略,提升算法性能.通过实例验证结构表明:采用该组合策略方式有效提升了数据挖掘的准确度和召回率,降低了算法的差错率,实现了人工智能平台对微博数据挖掘的精确捕捉.