基于spark的金融资讯词袋模型增量更新方法及系统

摘要

本发明提出了一种基于spark的金融资讯词袋模型增量更新方法及系统，该方法包括：采集历史金融资讯数据；根据历史金融资讯数据，利用spark计算引擎的弹性分布式数据集合构建词袋模型计算算子，生成初始词袋模型；将词袋模型信息持久化到数据库；通过kafka实时接入增量金融资讯，检测增量金融资讯中包含的词语，获取词袋模型中未记载的词语；判断未记载的词语是否具有词语释义，若具有词语释义，判定为原创新词；根据原创新词，更新数据库中的词袋模型信息；根据更新后的词袋模型，利用spark‑steaming组件计算增量金融资讯的词频及IDF值，得到资讯向量化数据，减少资讯量化误差，提高业务效果。