语音产生的神经生理控制建模

摘要

大脑对于语音产生的控制过程是非常复杂的，包括许多的神经控制过程如语音规划、听觉感知反馈和体感感知反馈等。在控制过程中，各个相关的脑区是协同和并行工作的，一个区域的控制信号会传输到另外几个区域，这其中包含着许多“一对多”的关系。然而，在之前的神经计算模型结构中，各区域状态之间的关系都是“一对一”的，并不是“一对多”的。因此，为了表现出一对多的控制关系，本文对模型的结构进行了修改，将模型中的运动规划状态、运动执行状态、体感状态和声学状态分别使用一个状态层来表示，并将每一层与脑区中的一个特定区域相对应。最后将训练结果分别用一个自组织图（Self-organizing Map，SOM）来表示。
　　本文提出的神经计算模型使用了一种基于语音产生的生理计算模型。该生理模型作为神经计算模型的末梢语音产生模块是用来模拟人体发声时的声道状态的，它替代了过去大部分神经控制模型所使用的几何模型，这样可以更好地反映人体语音产生过程中的具体生理特征。
　　本文使用神经计算模型对辅音-元音-（Consonant-vowel-，CV-）音节的动态特性进行了处理，设计了对于 CV-音节的神经化映射方法并构造了数据量较大（25000个）的训练集。通过对其进行训练，模型获得了运动层、体感层和声学层的神经化特征知识，这些知识被储存在各个状态的自组织图中。实验结果显示，新的神经模型结构可以很好地处理CV-音节的动态特性，通过构建各个层之间的映射关系，一个自组织图的神经元平均与其他自组织图的1.64个神经元存在对应关系，验证了本文所提出的不同模块之间的“一对多”关系的正确性。更重要的是，运动控制图的训练结果与通过脑皮层电图描记法（Electrocortigraphic，ECoG）所得到的大脑左半球肌肉分布阵列图像相类似。由于此阵列图像是基于大脑真实数据得出的，从而证明本文提出的模型结构以及对于CV-音节的训练方法和训练结果是真实可靠的。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1课题背景

1.2国内外研究现状

1.3本文内容及创新点

1.4本文研究意义

1.5本文结构

第二章 神经计算模型及基于语音发声的生理模型

2.1 DIVA模型

2.2 Kr?ger神经计算模型

2.3自组织图（Self-organizing map, SOM）算法

2.4基于语音产生的生理模型

2.5本章小结

第三章 基于语音产生的生理模型及数据神经化表示

3.1改进前的基于生理模型的神经计算模型结构

3.2改进后的基于生理模型的神经计算模型结构

3.3 CV-音节数据的神经化表示方法

3.4本章小结

第四章 实验及实验结果分析

4.1构造CV-音节的训练集

4.2各个状态层的自组织图训练结果

4.3自组织图之间的映射方法

4.4本章小结

第五章 总结与展望

5.1总结

5.2展望

参考文献

发表论文和参加科研情况说明

致谢