基于语义构词约束的汉语二字词抽取方法

摘要

基于语义构词约束的汉语二字词抽取方法属于自然语言处理技术领域，其特征在于，它是通过衡量字之间的语义约束强度来判断候选字符串能否成词的方法，即它以表示汉语词汇语义的隐马尔可夫模型(HMM)为基础，用Baum-Welch算法来更新HMM中的语义状态转移概率矩阵和状态转移处的输出字符概率矩阵，然后根据表示状态转移次数和转移处产生字符次数的概率矩阵来求出表征语义约束关系的字符对应语义的概率和语义序列的联合紧密程度，最后根据这两个参数便可算出成词的判决值。它与传统的互信息法比较，在召回率相同下，准确率更高些。