基于统计的词素切分算法

摘要

这篇论文描述了一种基于统计的词素切分算法，算法构建了一种数据结构，在该结构中语料库中的每个词都可以表示为它的词素的二叉树。因为每个词有不同的词素分割，算法选择使整体概率最高的分割，从而找到最优的词素词典和词的分割。我们用英语和维吾尔语作为实验数据，得出了较好的结果。