基于热点词的司法领域热点事件发现方法

摘要

本发明涉及基于热点词的司法领域热点事件发现方法，属自然语言处理领域。本发明先对爬取的司法舆情新闻进行处理，通过HanLP工具分词并抽取舆情新闻中的舆情要素，然后通过对舆情要素进行词频统计得到热点词集合并建立热点词与舆情新闻的对应关系，接下来通过相似度计算系统对舆情新闻进行两两评估以决定归并与否，相似度计算系统包括三个子系统：基于舆情新闻正文要素统计的文本相似度计算系统、基于BERT的舆情标题相似度计算系统以及基于tf‑idf的舆情标题相似度计算系统。在得到以上子系统的结果后，通过分别设置阈值的方式决定两条舆情文本是否属于同一热点事件。最后根据子系统的最终结果决定两条舆情是否为同一热点事件。