中文文本处理中句法分析方法的研究与实现

摘要

随着社会的日益信息化，人们越来越强烈地希望用自然语言同计算机交流。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出像人那样理解、分析并回答自然语言(即人们日常使用的各种通俗语言)的结果。 中文自然语言处理是让机器理解中文的核心技术。汉语句法分析是中文信息处理领域内的一个重要课题，它的发展能带动其它相关语言学应用的发展。 本文的核心工作可以概括为以下三个方面： (1)对现有的一些句法分析算法和模型进行了比较、综合。在总结前人研究成果的基础上，对传统的汉语句法分析算法加以改进，采用了基于合一的链接文法的句法分析方法，使得分析结果的准确率有一定的提高。 (2)根据实际应用，确定了一套词性标记集和短语标记集，并根据常用句型和汉语句法，设计了一套带有复杂特征结构的单词语法规则词典。 (3)分析、设计和实现了一个汉语句法分析原型系统，实现了基于N-Path算法的分词模块和基于隐马尔科夫的词性标注模块；实现了基于合一的链接文法的句法分析模块。 根据本文确定的词性标记，以及本文设计的一套语法规则库，使用JDK1。5开发工具，实现了一个汉语句法分析原型系统，并进行小规模中文文本试验测试，验证本文改进的分析算法可行有效。

目录

文摘

英文文摘

独创性声明及关于论文使用授权的说明

第一章概述

1.1自然语言处理

1.2句法分析任务

1.3国内外研究现状

1.4本文主要工作和组织结构

第二章句法分析模型和分析算法

2.1形式语法体系

2.2链接文法

2.2.1自然语言的平面性

2.2.2链接文法的定义

2.2.3连接因子

2.2.4链接文法的单词规则

2.2.5标准式和分离式

2.2.6链接文法规则使用举例

2.3合一文法与复杂特征结构

2.4链接文法分析算法

2.5链接文法的上下无关文法性

2.6基于合一的链接文法模型及其分析算法

2.6.1基于合一的链接文法模型

2.6.2基于合一的链接文法的分析算法

第三章句法分析器的分析、设计与实现

3.1系统目标分析和功能要求

3.2系统模块结构的设计

3.3系统采用的关键技术

3.4系统模型的词法分析模块

3.4.1分词模块

3.4.2词性标注模块

3.5系统模型的句法分析模块

3.5.1句法分析模块的组成

3.5.2句法分析模块实现

第四章试验测试与分析

4.1试验环境

4.2词性集与词性标注测试结果

4.3句法分析测试结果与分析

4.3.1试验过程和结果

4.3.2试验结果分析

第五章结论与展望

5.1结论

5.2展望

参考文献

致谢

攻读学位期间发表的学术论文