领域词典中中长词词组的生成方法及装置

摘要

本发明公开了一种领域词典中中长词词组的生成方法及装置，涉及自然语言处理领域，解决了传统方式构建领域词典的过程中无法生成中长词词组的问题。本发明的方法包括：获取通用语料及领域语料；对两套语料进行中文分词，并对分词结果进行组合得到中长词词组候选字符串；统计每一个中长词词组候选字符串在通用语料中以及在领域语料中的统计数据；根据每一个中长词词组候选字符串的统计数据，计算每一个中长词词组候选字符串的卡方统计量获得其得分，并将得分与设定的条件进行比较，保留符合条件的中长词词组候选字符串作为领域词典的领域词。本发明主要用于生成领域词典中的中长词词组的过程中。