一种基于乐理知识图谱推理的机器人智能导学方法及应用

摘要

本发明公开了一种基于乐理知识图谱推理的机器人智能导学方法及应用。该方法包括：采集乐理学习者提问的语音信号并转换为文本数据；获取文本数据中的实体嵌入表示h

说明书

技术领域

本发明属于人工智能教育技术领域，更具体地，涉及一种基于乐理知识图谱推理的机器人智能导学方法及应用。

背景技术

小学音乐教育占据了整个音乐教育中最为重要的一部分，对于小学生提高其自身的创造力、思维水平和审美情趣方面发挥着极为关键的作用。乐理是小学音乐教育的基础知识，是音乐理论的统称，包括节奏、音程、节拍、旋律等诸多音乐知识，但是乐理知识往往晦涩难懂，对于初学乐理知识的小学生造成了比较多的困扰，随着家庭教育的发展，家庭教育机器人对于小学生乐理知识的智能导学受到越来越多的关注。

家庭教育机器人是机器人技术应用到家庭教育场景的典型范例，是人工智能技术和仿生技术的教育应用的代表性产品。家庭教育机器人是面向家庭教育领域专门研发的专业型服务机器人，家庭教育机器人智能导学的主要用途是培养学生的创新创造能力、分析理解能力和综合实践能力，具备友好的人机交互和教学适用性等特点。目前，实现家庭教育机器人智能导学的方法有很多，这些方法主要可分为四类：基于模式的导学方法、基于常用问答对的导学方法、基于自由文本的导学方法和基于知识图谱的导学方法。首先，基于模式匹配的智能导学方法是将问题与专家制定的问题模板匹配获得答案，或者通过启发性规则推理得到答案，准确性高，但所需人力成本较高，可扩展性低。其次，基于常用问答对的智能导学方法主要是计算学习者查询语句与已经存储好的问答对之间的相似性，找出最为相似的问答对，较为简单，但是覆盖率低、灵活性差。再次，基于自由文本的智能导学方法是从互联网匹配最为相似的问句和答案，优点是覆盖率高，没有领域限制，缺点是只能回答有限类型的问题，准确率不高。最后，基于知识图谱的智能导学方法可以实现专业领域知识的问答，但受限于三元组的表示形式，对于复杂问题难以回答。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于乐理知识图谱推理的机器人智能导学方法及应用，可以提高智能导学的精确性和扩展性。

为实现上述目的，按照本发明的第一方面，提供了一种基于乐理知识图谱推理的机器人智能导学方法，包括步骤：

采集乐理学习者提问的语音信号，将所述语音信号转换为文本数据；

对所述文本数据进行解析，抽取所述文本数据中的实体和关系，并得到所述文本数据中的实体嵌入表示h

将所述实体嵌入表示h

将所有候选三元组(h

进一步地，采用语音转换器将所述语音信号转换为文本数据，所述语音转换器包括加权深度全序列卷积神经网络模型和隐马尔可夫模型，所述加权深度全序列卷积神经网络模型包括输入层、隐藏层和输出层，所述隐马尔可夫模型用于对所述隐藏层的输出进行处理后输入后所述输出层，所述隐藏层的最后一层为加权特征层，经过所述加权特征层后的加权特征表示为：

G＝δ(W

其中，G是所述加权特征层的输出特征，δ(·)表示所述特征加权层的激活函数，b为偏置项，F

进一步地，利用文本解析器对所述文本数据进行解析，所述文本解析器包括预训练语言模型、双向门控循环单元和序列标注模型；

所述预训练语言模型用于将所述文本数据转换为字符向量；

所述双向门控循环单元用于对转换后的字符向量进行特征抽取；

所述序列标注模型用于根据抽取的特征输出所述文本数据中实体和关系的标注结果。

进一步地，所述知识图谱推理模块的训练包括步骤：

获取将乐理知识图谱中的实体集合和关系集合，将乐理知识图谱中的实体和关系转换为嵌入表示，将乐理知识图谱中实体嵌入表示记为t

将矩阵L中的元素进行混合排列获得矩阵Lc；

对矩阵Lc进行圆周卷积操作，获得特征图；

将得到的特征图映射到k维向量空间，得到隐藏层向量H；

通过全连接层来对隐藏层向量H进行处理，输出能量预测值，通过训练减小能量预测值与乐理知识图谱中实体间实际关系的差异。

进一步地，所述对矩阵Lc进行圆周卷积操作是采用N个不同的卷积核分别对矩阵Lc进行圆周卷积操作，从而生成N个不同的特征图。

按照本发明的第二方面，提供了一种基于乐理知识图谱推理的机器人智能导学系统，包括：

采集模块，用于采集乐理学习者提问的语音信号，将所述语音信号转换为文本数据；

预处理模块，用于对所述文本数据进行解析，抽取所述文本数据中的实体和关系，并得到所述文本数据中的实体嵌入表示h

三元组构建模块，用于将所述实体嵌入表示h

推理输出模块，用于将所有候选三元组(h

进一步地，采用语音转换器将所述语音信号转换为文本数据，所述语音转换器包括加权深度全序列卷积神经网络模型和隐马尔可夫模型，所述加权深度全序列卷积神经网络模型包括输入层、隐藏层和输出层，所述隐马尔可夫模型用于对所述隐藏层的输出进行处理后输入所述输出层，所述隐藏层的最后一层为加权特征层，经过所述加权特征层后的加权特征表示为：

G＝δ(W

其中，G是所述加权特征层的输出特征，δ(·)表示所述特征加权层的激活函数，而且b为偏置项，F

进一步地，所述知识图谱推理模块的训练包括步骤：

获取将乐理知识图谱中的实体集合和关系集合，将乐理知识图谱中的实体和关系转换为嵌入表示，将乐理知识图谱中实体嵌入表示记为t

将矩阵L中的元素进行混合排列获得矩阵Lc；

对矩阵Lc进行圆周卷积操作，获得特征图；

将得到的特征图映射到k维向量空间，得到隐藏层向量H；

通过全连接层来对隐藏层向量H进行处理，输出能量预测值，通过训练减小能量预测值与乐理知识图谱中实体间实际关系的差异。

按照本发明的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现中任一项上述的方法的步骤。

按照本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项上述的方法。

总体而言，本发明与现有技术相比，具有有益效果：

(1)通过解析问句的实体及其关系，并挖掘乐理知识图谱中实体和关系的深度语义交互，可以提高智能导学的精确性和扩展性。

(2)利用机器人语音设备采集乐理学习者的语音信号，并且利用语音转换器识别语音信号，具体来说，使用加权深度全序列卷积神经网络对语音波进行加窗操作，并且将相邻多帧进行拼接，提高语音转换识别的效率，并采用隐马尔可夫模型处理语音识别中可变长度话语的问题，有效实现了语音转文本的自动化过程。

(3)对乐理学习者文本数据采取文本解析器进行解析，抽取出乐理学习者问句中的实体和关系，使用轻量级预训练语言模型对字符进行向量化操作，再利用双向门控循环单元学习上下文之间的关系，最后运用序列标注模型标注序列的概率分布结果，抽取乐理学习者问句的实体和关系。

(4)把三元组输入到知识图谱推理模块，计算所有三元组的能量值，从而找出最佳答案，利用经纬混排学习实体和关系之间丰富的交互语义关系，通过圆周卷积神经网络的圆周卷积、重叠池化和全连接操作建立乐理知识图谱的推理路径，并利用能量值函数计算三元组的能量值，从而定位最优答案。智能导学结果的学习者满意度高，克服了传统机器人智能导学方法中的“难以确定复杂问题的正确答案”的问题。

附图说明

图1是本发明实施例的机器人智能导学场景示意图；

图2是本发明实施例的机器人智能导学方法的流程图；

图3是本发明实施例的机器人语音转换器示意图；

图4是本发明实施例的文本解析器示意图；

图5是本发明实施例的经纬混排交互表示学习图；

图6是本发明实施例的乐理知识图谱推理路径图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例的一种基于乐理知识图谱推理的机器人智能导学方法的应用场景如图1所示。

如图2所示，本发明实施例的一种基于乐理知识图谱推理的机器人智能导学方法，包括步骤S101至S104。

S101，采集乐理学习者提问的语音信号，将语音信号转换为文本数据。

步骤101具体步骤如下：

a.使用机器人语音设备采集乐理学习者的语音信号，当乐理学习者向机器人提出问题时，语音设备会自动采集语音信号，包括含噪音的语音信号、干净的语音信号和复杂场景下的语音信号。例如，乐理学习者向机器人提出问题“五声音阶的提出时间是何时”，机器人语音设备会自动采集语音信号。

b.采用语音转换器将语音信号转换为文本数据，语音转换器的网络结构如图3所示，采用隐马尔可夫模型HMM和加权深度全序列卷积神经网络WT-DFCNN进行语音转换识别。语音转换器包括加权深度全序列卷积神经网络模型和隐马尔可夫模型，加权深度全序列卷积神经网络模型包括输入层、隐藏层和输出层，隐马尔可夫模型用于对隐藏层的输出进行处理后输入后输出层，隐藏层的最后一层为加权特征层。

隐马尔可夫模型可以处理语音识别中可变长度话语的问题，传统的机器学习是一种浅层结构算法，对于机器人语音信号中的深层特征学习能力不足，表征复杂函数的能力也有限，所以在全序列卷积神经网络的基础上，设计了加权深度全序列卷积神经网络WT-DFCNN，增加了一个卷积池化单元，可以更好地提取机器人语音信号中的深层信息，在每一个卷积池化单元之后加入Dropout层，达到防止过拟合的目的。进一步而言，引入一个特征加权层，实现对机器人语音信号中的关键特征的加权，并减轻无效特征的影响。

加权深度全序列卷积神经网络形成的语音波会有加窗操作，并且将相邻多帧进行拼接，提高语音转换识别的效率。加权深度全序列卷积神经网络是由输入层、隐藏层和输出层组合而成，隐藏层由Sigmoid激活函数构成，输出层由Softmax函数构成，每一个节点的输入值是X

其中，W

y

经过五次卷积、池化、Dropout操作后，利用设计的特征加权层对最后的特征矩阵进行处理，加权深度全序列卷积神经网络WT-DFCNN利用全连接层完成关键特征加权，其中特征加权矩阵为W

G＝δ(W

其中，G是加权后的特征，δ(·)是特征加权层的激活函数，而且b为偏置项，若该层的输入特征为F

S102，对文本数据进行解析，抽取文本数据中的实体和关系，并得到文本数据中的实体嵌入表示h

利用文本解析器对文本数据进行解析，抽取出问句的实体e

文本解析器的网络结构如图4所示，包括预训练语言模型、双向门控循环单元和序列标注模型；预训练语言模型用于将文本数据转换为字符向量；双向门控循环单元用于对转换后的字符向量进行特征抽取；序列标注模型用于根据抽取的特征输出文本数据中实体和关系的标注结果。

文本解析器的具体实现过程如下：

a.将机器人问句Q＝{W

使用ALBERT预训练语言模型获取教育机器人问句的特征，对字符进行向量化操作，每个字符的向量为F：

F＝F

其中F

X

其中X

MultiHead(Q,K,V)＝Concat(head

值得注意的是，Q,K,V分别是输入序列中的每个字符所一一对应的Query向量、Key向量、Value向量，而且W

在此式中，QW

X

不难发现，X

b.利用双向门控循环单元Bi-GRU对字符向量的深层次特征进行抽取，考虑上下文之间关系的学习；GRU是由重置门r

r

z

其中σ是Sigmoid激活函数；x

c.采取CRF模型获取标注序列的概率分布，对于给定的输入句子序列x对应的标签序列为y＝{y

其中

映射向量空间的具体实现过程是将乐理学习者问句的实体e

S103，将实体嵌入表示h

S104，将所有候选三元组(h

知识图谱推理模块的原理如图5和图6所示，知识图谱推理模块的训练包括步骤：获取将乐理知识图谱中的实体集合和关系集合，将乐理知识图谱中的实体和关系转换为嵌入表示，将乐理知识图谱中实体嵌入表示记为t

具体实现过程如下：

a.对乐理课程标准、教材、考纲、教案和试题集等数据进行信息抽取，构建乐理知识图谱，基础乐理主题包括节奏、音程、节拍、和弦等。进阶乐理主题包含旋律、和声、配器法、复调等内容。

b.将乐理知识图谱中三元组(头实体、关系、尾实体)的实体集合E和关系集合R作为k维的嵌入表示，获得乐理知识图谱中实体嵌入表示t

c.将乐理知识图谱中的实体嵌入表示t

L

经纬混排后的矩阵可以视作多个三元组训练样本的表示。

具体而言，d维矩阵，其中语义交互的数量被定义为N(Φ

例如，假设d＝4，混合排列前后的矩阵如图5所示，L

d.通过圆周卷积神经网络对乐理知识图谱中的三元组进行训练和测试，同机器学习常用策略一样，将乐理知识图谱的数据集划分为训练集和测试集，其中将乐理知识图谱数据集的80％作为训练集，20％作为测试集。

在训练阶段，圆周卷积神经网络由N个不同的卷积核完成圆周卷积，卷积核的集合为K＝[k

其中★代表圆周卷积操作，f(*)是指修正线性单元ReLU，

e.将得到的特征图进行展平操作，通过矩阵W参数化的线性转换方法映射到多维向量空间，得到隐藏层向量H：

H＝f(vec[v

在此式中，vec[v

f.通过全连接层来综合特征，完成圆周卷积神经网络对知识图谱三元组的深度特征提取，对乐理知识图谱中的复杂推理路径进行建模，如图6所示。

然后利用测试集进行测试，通过评价指标MR(平均排名)、MRR(平均排序倒数)、Hits@k(正确结果在能量值序列中进入前k的比例)评估模型在测试阶段的表现。MR是指正确结果在能量值排名中的平均值，MR越小，意味着正确答案的排序越靠前，模型的效果越好。MRR是指正确结果在能量值排名中的排名倒数的平均值，与MR相反，MRR越大，意味着正确答案的排名越小，即排名越靠前，模型的效果越好。Hits@k表示正确结果在能量值排名中进入前k的比例，通常用Hits@10衡量实体预测效果，Hits@1衡量关系预测效果，Hits@k的值越大，代表模型效果越好。

在正式应用阶段，把候选三元组(h

其中，b是偏置项，而且σ(x)＝1/1+exp(-x)是sigmoid函数，可以对三元组是否正确给出可解释的概率性预测，综合上述公式，能量值函数

k

其中，线性变换矩阵W的和偏置项b的参数是共享的，独立于卷积核的参数。

举例而言，“五声音阶的提出时间是何时”这个学习者问句通过解析得到的实体和关系分别是“五声音阶”和“提出时间”，其对应的实体嵌入和关系嵌入分别为h

本发明实施例的一种基于乐理知识图谱推理的机器人智能导学系统，包括：

采集模块，用于采集乐理学习者提问的语音信号，将语音信号转换为文本数据；

预处理模块，用于对文本数据进行解析，抽取文本数据中的实体和关系，并得到文本数据中的实体嵌入表示h

三元组构建模块，用于将实体嵌入表示h

推理输出模块，用于将所有候选三元组(h

进一步地，采用语音转换器将语音信号转换为文本数据，语音转换器包括加权深度全序列卷积神经网络模型和隐马尔可夫模型，加权深度全序列卷积神经网络模型包括输入层、隐藏层和输出层，隐马尔可夫模型用于对隐藏层的输出进行处理后输入输出层，隐藏层的最后一层为加权特征层，经过加权特征层后的加权特征表示为：

G＝δ(W

其中，G是加权特征层的输出特征，δ(·)表示特征加权层的激活函数，而且b为偏置项，F

进一步地，知识图谱推理模块的训练包括步骤：

获取将乐理知识图谱中的实体集合和关系集合，将乐理知识图谱中的实体和关系转换为嵌入表示，将乐理知识图谱中实体嵌入表示记为t

将矩阵L中的元素进行混合排列获得矩阵Lc；

对矩阵Lc进行圆周卷积操作，获得特征图；

将得到的特征图映射到k维向量空间，得到隐藏层向量H；

通过全连接层来对隐藏层向量H进行处理，输出能量预测值，通过训练减小能量预测值与乐理知识图谱中实体间实际关系的差异。

系统的实现原理、技术效果与上述方法类似，此处不再赘述。

本实施例还提供了一种电子设备，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述方法实施例的步骤，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述方法实施例的技术方案。其实现原理、技术效果与上述方法类似，此处不再赘述。

必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。