特定领域意义改变词的识别方法

摘要

本发明公开了一种特定领域意义改变词的识别方法，包括：从含有用户生成文本的网站上爬取一定量的特定领域文本数据及相应的图像数据，并从正常语料中爬取相应的正常文本；使用基于词嵌入的语言模型获取正常文本的表征，作为词初始表征，并结合所爬取的特定领域文本数据及相应的图像数据构建基于嵌入的深度自编码网络模型，并使用梯度下降策略训练该深度自编码网络模型；深度自编码网络模型训练完成后，获得所有特定领域词的词向量表征，分别计算与对应词初始表征的距离，并按照距离从大到小排序，取排序前K个次作为特定领域意义改变词。通过上述方法可以准确的识别特定领域文本中存在的意义不同的词，从而为下游应用，如构建领域专有词汇表等提供帮助。