基于词向量表征的网页新词发现和解析方法

摘要

本发明公开的一种基于词向量表征的网页新词发现和解析方法，包括以下步骤：步骤1，网页原始数据预处理，得到预训练文本；步骤2，首先进行粗略分词处理，然后使用N‑gram模型来分别构建2‑gram、3‑gram的前缀字典树；步骤3，使用内部结合度多字互信息来度量候选词串的内部结合度；步骤4，使用左右邻接熵信息度量来确定上一步骤中的候选新词的边界；步骤5，利用余弦相似度原理来进行相似向量筛选进而扩充初始关键词词典；步骤6，解析待处理网页中的数据，把网页中的非结构化数据转存到一个预先设置的结构化数组列表里；步骤7，通过步关键词词典对结构化列表里的数据进行提取和整合，完成解析过程。