大词汇量连续语音识别系统的统计语言模型应用研究

摘要

随着语音识别技术深入广泛的应用，它越来越将成为模式识别中的一个非常重要的研究课题，它的发展将会对未来的生活、工作带来极大的影响，而且该技术也将会成为未来十年的主流技术。近年来，由于在语音识别的研究中大词汇量、非特定人、连续语音识别是最困难、也最具有挑战性的一个课题和其广泛的应用前景，所以，它吸引众多的机构和公司相继投入研究和开发。虽然基于汉语的大词汇量连续语音识别系统近年来取得了快速的发展，但其性能还远远不能满足大规模应用的要求，为此对该技术进一步的研究有着非常重要的意义和价值。 在大词汇量连续语音识别系统中，语言模型的地位是非常重要。其性能的好坏直接影响到整个语音识别系统的使用范围和识别效果。因此，构建和更新一个可靠的语言模型对语音识别系统是非常关键的。 本文首先详细讨论了统计语言模型的工作原理、平滑技术、评价标准等相关理论。接着，在Linux环境下搭建HTK建模平台，利用Linux下强大的命令工具并通过编写Bash和Perl脚本程序，完成对训练数据的预处理和分词，建立了能够达到HTK中语言建模工具HLM要求的语料库。然后，利用HLM建模工具完成对训练数据的不断训练，并生成一个Tri-gram的语言模型，然后对该语言模型的性能进行评估。由于识别领域内容的不断更新，导致语音识别系统中语言模型性能变差，在识别过程中出现大量的集外词。因此，提出了一种利用HTML Parser和PDFBox开发工具包进行编程来提取网页内容和PDF文档作为训练数据来源自动构建更新语言模型的完整的解决方案，采用该方案可较好地改善语言模型的性能。 最后，本文大概地介绍了大词汇量连续语音识别系统的整体框架，并通过具体的实验来验证了所建立语言模型在语音识别系统中的识别效果。由于识别结果不可能完全正确，因此本文探讨了一种对识别后的内容、时间进行修改和调整的方法，保证了识别后结果与说话人真实内容的一致，从而提高了语音识别的正确性。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景与意义

1.1.1语音识别的研究背景

1.1.2语言模型的研究意义

1.2国内外研究现状

1.3本文研究内容及章节安排

1.3.1本文研究内容

1.3.2本论文章节安排

第2章语言模型与统计语言模型

2.1基于知识的语言模型

2.2基于统计的语言模型

2.2.1概述

2.2.2统计语言模型的平滑技术

2.2.3统计语言模型的评价方法

2.3基于知识的语言模型与基于统计的语言模型的比较

第3章统计语言模型的设计与实现

3.1语言模型设计的思路与方法

3.2大规模训练语料库的建立

3.2.1语料库概述

3.2.2训练语料选择的原则

3.2.3语料库建立过程

3.2.4语料库的具体建立步骤

3.3 Tri-gram语言模型的建模

3.3.1建模过程

3.3.2建模的具体步骤

3.4语言模型性能的评价与分析

第4章统计语言模型的自动更新

4.1问题提出及解决思路

4.2基于Web网页内容的语料提取

4.2.1 HTMLParser项目简介

4.2.2网页内容的提取方法和结果

4.3基于PDF文档内容的语料提取

4.4语言模型更新的实现与性能分析

4.4.1模型自动更新的实现

4.4.2更新后语言模型的性能分析

第5章语言模型在连续语音识别系统中的应用

5.1概述

5.2大词汇连续语音识别系统的整体模型

5.3大词汇连续语音识别系统的构建和组成

5.3.1声学模型

5.3.2语言模型

5.4语言模型在语音识别系统中的应用实验

5.4.1实验数据及过程

5.4.2实验操作及结果

5.4.3识别结果的修正

结论与展望

致谢

参考文献

攻读硕士学位期间发表的论文

附录：