反馈式语言干预方法、系统、电子设备及存储介质

摘要

本申请公开了一种反馈式语言干预方法、系统、电子设备及存储介质，涉及语音发音技术领域。本申请的反馈式语言干预方法，包括：获取根据预设的第一语音生成的第二语音；根据预存的语料库对第二语音进行分析得到第一标准信息；根据第一标准信息生成第一分析报告。根据预设的第一语音，指导用户发出第二语音，并且能够获取用户的第二语音，判断第二语音的发音标准程度，能够让用户及时了解到自己语音发音上的不足和缺陷，还能够根据发音标准程度为用户生成专属的第一分析报告，系统根据第一分析报告调整不同训练任务的内容和比重，这样用户就能够有计划、有针对性地进行语音训练。

说明书

技术领域

本申请涉及语音交互技术领域，特别涉及一种反馈式语言干预方法、系统、电子设备及存储介质。

背景技术

目前，有很多语言训练的方法，比如可以通过康复师指导用户进行语言训练，但该训练方式需要依赖于康复师，时间成本较大，并且训练效率不高，受制于气候或地域变化。还可以通过语音识别软件来识别用户的语音，由用户根据识别出来的语音进行交互式语言训练。但是现有的语音识别软件识别语音性能较差，并且无法对用户的语音进行分析，也不能判断用户的读音是否正确，更达不到根据语音分析来训练用户发音和对话的目的。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种反馈式语言干预方法、系统、电子设备及存储介质，能够对用户的语音进行评测，并且根据评测结果生成语音分析报告，使用户能够根据语音分析报告的反馈结果，针对性地进行语音训练。

根据本申请的第一方面实施例的反馈式语言干预方法，包括：

获取根据预设的第一语音生成的第二语音；

根据预存的语料库对所述第二语音进行分析得到第一标准信息；

根据所述第一标准信息生成第一分析报告；

将所述第一分析报告反馈到用户端，由所述用户端根据所述第一分析报告对用户语言能力恢复进程进行干预。

根据本申请实施例的反馈式语言干预方法，至少具有如下有益效果：

获取根据预设的第一语音生成的第二语音；根据预存的语料库对第二语音进行分析得到第一标准信息；根据第一标准信息生成第一分析报告。根据预设的第一语音，指导用户发出第二语音，并且能够获取用户的第二语音，判断第二语音的发音标准程度，能够让用户及时了解到自己语音发音上的不足和缺陷，还能够根据发音标准程度为用户生成专属的第一分析报告。用户根据第一分析报告就能够有计划、有针对性地进行语音训练。

根据本申请的一些实施例，所述语料库包括标准语料库和用户语料库；

所述标准语料库存储有采集到的第一语音，所述第一语音为标准发音的语音数据；

所述用户语料库存储有获取到的第二语音，所述第二语音为非标准发音的语音数据。

根据本申请的一些实施例，所述第一标准信息包括第一标准参数，所述第一标准参数用于标识所述第二语音的语音特征与所述第一语音的语音特征的声学距离；对应的，所述根据预存的语料库对所述第二语音进行分析得到第一标准信息，包括：

获取所述第二语音的语音特征；

将所述第二语音的语音特征与所述语料库中预存的所述第一语音的语音特征进行比对；

根据比对结果得到所述第一标准参数。

根据本申请的一些实施例，所述第一标准信息包括第一标准参数，所述第一标准参数用于标识所述第二语音的语音特征与所述第一语音的语音特征的声学距离；对应的，所述根据预存的语料库对所述第二语音进行分析得到第一标准信息，还包括：

获取所述第二语音的语音特征；

将所述第二语音的语音特征与所述语料库中预存的所述第一语音的语音特征进行比对；

根据比对结果播放所述语料库中的所述第一语音。

根据本申请的一些实施例，还包括：

获取第三语音；

获取所述第三语音的语音特征；

根据所述第三语音的语音特征，对所述第三语音进行分析，得到所述第三语音的第二标准信息；

根据所述第二标准信息生成第二分析报告。

根据本申请的一些实施例，还包括：

根据所述第二语音分析报告的引导文本生成对应的引导音频，所述引导音频用于引导语音训练。

根据本申请的一些实施例，还包括：

将第一数据存储至所述语料库，所述第一数据包括所述第二语音以及所述第一分析报告；

将所述第一数据发送至云端服务器和/或接收从所述云端服务器发送的第二数据并将所述语料库存储的第一数据更新为所述第二数据，所述第二数据包括所述云端服务器存储的所述第二语音以及所述第一分析报告。

根据本申请的第二方面实施例的反馈式语言干预系统，包括：

语音录入模块：所述语音录入模块用于获取根据预设的第一语音生成的第二语音；

语音分析模块：所述语音分析模块用于根据预存的语料库对所述第二语音进行分析得到标准信息；

结果输出模块：所述结果输出模块用于根据所述标准信息生成第一语音分析报告；

反馈发送模块：所述反馈发送模块将所述第一分析报告反馈到用户端，由所述用户端根据所述第一分析报告对用户语言能力恢复进程进行干预。

根据本申请实施例的反馈式语言干预系统，至少具有如下有益效果：

本申请实施例的反馈式语言干预系统包括语音录入模块、语音分析模块、结果输出模块以及反馈发送模块。根据预设好的第一语音，来提示用户念出与第一语音对应语音信息的第二语音，然后获取用户发出的第二语音。接着根据事先存储的语料库对第二语音进行分析得到第一标准信息。最后，根据第一标准信息生成第一分析报告。根据预设的第一语音，指导用户发出第二语音，并且获取用户的第二语音，判断第二语音的发音标准程度，能够让用户及时了解到自己语音发音上的不足和缺陷，还能够根据发音标准程度为用户生成专属的第一分析报告。系统根据第一分析报告调整不同训练任务的内容和比重，这样用户就能够有计划、有针对性地进行语音训练。

根据本申请的第三方面实施例的电子设备，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如本申请第一方面实施例任一项所述的反馈式语言干预方法。

根据本申请的第四方面实施例的计算机可读存储介质，包括：

所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如本申请第一方面实施例所述的反馈式语言干预方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

下面结合附图和实施例对本申请做进一步的说明，其中：

图1为本申请一些实施例提供的反馈式语言干预方法的流程图；

图2为本申请另一些实施例提供的反馈式语言干预方法的流程图；

图3为本申请另一些实施例提供的反馈式语言干预方法的流程图；

图4为本申请另一些实施例提供的反馈式语言干预方法的流程图；

图5为本申请另一些实施例提供的反馈式语言干预方法的流程图；

图6为本申请一些实施例提供的反馈式语言干预系统的模块结构框图。

附图标记：

语音录入模块110，语音分析模块120，结果输出模块130，反馈发送模块140。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本申请实施例提供了一种反馈式语言干预方法、系统、电子设备及存储介质，能够根据预设的第一语音，指导用户发出第二语音，并且能够获取用户的第二语音，判断第二语音的发音标准程度，能够让用户及时了解到自己语音发音上的不足和缺陷，还能够根据发音标准程度为用户生成专属的第一分析报告。用户根据第一分析报告就能够有计划、有针对性地进行语音训练。

第一方面，本申请实施例提供了一种反馈式语言干预方法。

首先，反馈指训练过程中，失语症患者对自己的反应有意识的认识，患者对自己所进行的活动有客观把握，能认识到反应正确与否。然而失语症患者存在发音模糊，构词困难等问题，现有语音识别软件识别失语症患者语音性能较差，无法对患者语音进行评测，患者无法得知自己的反应是否正确，更达不到训练患者发音和对话，恢复交流的目的。

其次，失语症患者的脑组织已发生器质性损害，在言语交流中，语言组织和表达，理解接受，感知辨识等功能发生失调，因此患者会丧失生活的信心，产生抑郁心理，影响患者身体健康和疾病治疗。常规的药物干预、家庭以及社会干预等可以帮助患者恢复生活能力，然而通过言语功能训练的语言干预手段，能从听觉和视觉等方面对大脑的脑干网状和边缘系统结构产生作用，调节脑组织皮质，协调人体行为、情绪以及内脏活动，促进生化物质分泌，对持续保持言语功能训练依从性有利，可确保言语功能恢复良好。

本申请实施例提供自主反馈功能，将用户在康复训练中的实际参与度、完成度以及准确度等数据通过文字，语音和视频等形式反馈给用户，多模态感官激发患者的语言感知能力，提高用户交互体验。通过识别分析患者自由对话内容，及时评估患者的言语水平，比如重复率，正确率，流利度，各词性出现频率等，并反馈分析结果和矫正方式，实时生成报告，还可通过报告制定语言康复训练内容，比如汉字发音再训练，主谓宾组合造句等。

参照图1，图1为本申请一些实施例提供的反馈式语言干预方法的流程图，具体包括步骤：

S100，获取根据预设的第一语音生成的第二语音；

S200，根据预存的语料库对第二语音进行分析得到第一标准信息；

S300，根据第一标准信息生成第一分析报告。

S400，将第一分析报告反馈到用户端，由用户端根据第一分析报告对用户语言能力恢复进程进行干预。

在步骤S100中，第一语音是预设的标准语音，第二语音可以是用户发出的语音。首先，根据预设好的标准语音，来提示用户念出与标准语音对应语音信息的语音，然后获取用户发出的语音。比如，可以事先预设好用户需要进行训练的内容，设置好训练内容对应的标准语音。用户根据训练内容的提示，比如文本，念出文本对应的语音，并且获取用户发出的语音内容。在一些实施例中，训练内容提示的具体形式可以是词汇图表、语境训练、字词跟读和看图说话等。训练内容的提示可以使用户在词汇图表、语境训练、字词跟读、看图说话等提示的帮助下，按计划进行语音训练，逐步提高语音能力。

需要说明的是，训练内容的提示不仅仅采用词汇图表、语境训练、字词跟读和看图说话的形式。本领域技术人员可以根据实际需求来选择训练内容的提示，使用户根据提示进行相应的语音训练，在此不做详述。

在步骤S200中，根据预先存储的语料库对用户发出的语音进行分析得到第一标准信息，其中第一标准信息可以是读音准确度。在获取到用户发出的语音后，将用户发出的语音与语料库存储的内容进行比对，得出用户发出的语音的标准程度信息。

需要说明的是，第一标准信息不仅仅包括读音准确度，还可以是读音清晰度、读音流畅度等信息。本领域技术人员可以根据实际需求根据事先存储的语料库对用户发出的语音进行分析，并得到第一标准信息，在此不做详述。

在一些实施例中，语料库包括标准语料库和用户语料库。标准语料库存储有采集到的第一语音，第一语音为标准发音的语音数据。用户语料库存储有获取到的第二语音，第二语音为非标准发音的语音数据。在执行本发明第一方面实施例的反馈式语言干预方法前，可以收集大量标准发音的语音数据，并将这些标准发音的语音数据存进标准语料库中，为语音训练提供素材。用户根据训练内容的提示发出语音后，将用户的语音数据存储到用户语料库中。用户语料库中存储的语音数据越多，越能提高语音检测的准确度。

在一些实施例中，如图2所示，步骤S200具体还包括步骤：

S210，获取第二语音的语音特征；

S220，将第二语音的语音特征与语料库中预存的第一语音的语音特征进行比对；

S230，根据比对结果得到第一标准参数。

在步骤S210中，需要获取用户发出语音的语音特征，其中需要获取的语音特征可以是语音的频谱包络，振幅，音强，基频，音高等。还可以对上述获取到的语音特征进行编码运算得到的一组特征向量，便于构建用户发音模型，获取大量的语音特征能从多个方面对用户发出的语音进行分析，从而提高语音分析的准确程度。

在步骤S220中，将用户发出语音的语音特征与标准语料库中预存的标准语音的语音特征进行比对。此外，还可以在标准语料库中根据标准发音的语音数据通过语音编码来构建标准发音模型，在用户语料库中根据用户的非标准发音的语音数据通过语音编码来构建用户发音模型，并进行语音特征提取操作，比对标准发音模型和用户发音模型，得出二者的声学距离。

在一些实施例中，用户发出语音的语音特征与标准语音的语音特征进行比对的过程还可以是：分析用户语音发音的声母韵母是否跟标准读音的相同，具体地说，分别对用户发出的语音和标准语音中的声母和韵母进行分割，接着将用户发出语音的声母和韵母与标准语音的声母和韵母进行匹配。

在步骤S230中，根据用户发出语音的语音特征与标准语料库中预存的标准语音的语音特征进行比对的结果，得到第一标准参数。其中第一标准参数用于标识用户发出语音的语音特征与标准语音的语音特征的声学距离，根据第一标准参数可以得出用户读音的准确度。

在一些实施例中，如图3所示，步骤S200具体还包括步骤：

S240，获取第二语音的语音特征；

S250，将第二语音的语音特征与语料库中预存的第一语音的语音特征进行比对；

S260，根据比对结果播放语料库中的第一语音。

在步骤S240中，需要获取用户发出语音的语音特征，其中需要获取的语音特征可以是语音的频谱包络，振幅，音强，基频，音高等。还可以对上述获取到的语音特征进行编码运算得到的一组特征向量，便于构建用户发音模型，获取大量的语音特征能从多个方面对用户发出的语音进行分析，从而提高语音分析的准确程度。

在步骤S250中，将用户发出语音的语音特征与标准语料库中预存的标准语音的语音特征进行比对。此外，还可以根据标准发音的语音数据来构建标准发音模型，根据用户发出语音的语音数据来构建用户发音模型，并进行语音特征提取操作，比对标准发音模型和用户发音模型。

在步骤S260中，将用户发出语音的语音特征与标准语料库中预存的标准语音的语音特征进行比对，比对用户发出语音是否准确，并且播放标准语料库中标准读音的语音，便于提示用户正确语音的读法，提高语音训练效率。

在步骤S300中，根据第一标准信息生成第一分析报告，也就是说根据用户发出语音的语音特征与标准语音的语音特征的声学距离，得到用户发音的准确度，根据准确度生成用户的语音分析报告。这里的语音分析报告包括用户读音的准确度、用户读音正确率等，便于用户根据语音分析报告有针对性地制定语音训练计划。生成的语音分析报告还可以显示用户在相应的声母或韵母上存在发音困难的问题，可结合相应发音视频对发音困难的声母和韵母进行练习。

在步骤S400中，将第一分析报告反馈到用户端，由用户端根据第一分析报告对用户语言能力恢复进程进行干预，用户可以根据用户端的第一分析报告，得知患者发音的详细分析数据，根据这些数据能够有针对性的修改语音训练计划，更好地进行语音练习。

在一些实施例中，如图4所示，本申请实施例中提到的语音训练方法具体还包括步骤：

S500，获取第三语音；

S600，获取第三语音的语音特征；

S700，根据第三语音的语音特征，对第三语音进行分析，得到第三语音的第二标准信息；

S800，根据第二标准信息生成第二分析报告。

在步骤S500中，需要获取第三语音，第三语音指的是用户进行自由对话所发出的语音。用户可以根据训练内容，把学习过的字词读音运用到自由对话中。通过获取用户进行自由对话所发出的语音，能够及时了解用户练习的效果。

在步骤S600中，需要获取用户进行自由对话所发出语音的语音特征，其中需要获取的语音特征可以是语音的频谱包络，振幅，音强，基频，音高等。还可以对上述获取到的语音特征进行编码运算得到的一组特征向量，便于构建用户发音模型，获取大量的语音特征能从多个方面对用户发出的语音进行分析，从而提高语音分析的准确程度。

在步骤S700中，根据获取到用户进行自由说话所发出语音的语音特征，对用户发出的语音进行分析，得到第二标准信息，第二标准信息指的是对用户发出的语音进行分析后的分析结果，用于判断用户读音的标准程度。这里的分析过程为：利用自然语音理解技术来完成用户念出的句子中的分词和词性标注，以及重复字词，无意义词，发音错误字词，停顿时长等的分析。还可以将用户进行自由对话所发出的语音转换成相应的用户读音文本，将标准语料库中标准读音的语音也转换成相应的标准读音文本，对比用户读音文本和标准读音文本，获取相同的字词，并且判断这些字词的读音是否正确，从而得出用户进行语音训练的效果，提高训练效率。

在步骤S800中，根据用户发出的语音进行分析后的分析结果生成第二分析报告，这里的第二分析报告是指用户的语音分析报告。第二分析报告包括有用户发出的语音中的分词和词性标注，以及重复字词，无意义词，发音错误字词，停顿时长的统计分析等，使用户根据语音分析报告有针对性地制定语音训练计划。

在一些实施例中，步骤S800还包括步骤：根据第二语音分析报告的引导文本生成对应的引导音频，引导音频用于引导语音训练。

在生成用户的语音分析报告后，可以根据语音分析结果作出训练字词或者自由对话的引导判断，将相应的引导文本或者正确读音文本通过语音合成来生成引导音频，从而引导用户进行多次训练，或者提醒用户进行多次对话，提高了语音训练效率。

在一些实施例中，如图5所示，具体还包括步骤：

S900，将第一数据存储至语料库，第一数据包括第二语音以及第一分析报告；

S1000，将第一数据发送至云端服务器和/或接收从云端服务器发送的第二数据并将语料库存储的第一数据更新为第二数据，第二数据包括云端服务器存储的第二语音以及第一分析报告。

在步骤S900中，将第二语音以及对应的第一分析报告存储至语料库，也就是将用户在训练过程中发出的语音，以及对用户语音进行分析的结果存储至语料库中，便于收集用户历史训练数据，使得在以后的训练过程中可以根据语料库中的数据对用户发音作出更加准确地判断。

在步骤S1000中，将第二语音以及对应的第一分析报告发送至云端服务器，将用户训练过程中产生的语音数据和分析数据发送到云端服务器，由云端服务器对这些数据进行备份。云端服务器也能录入数据，比如标准语料库中的语音数据，或者用户的语音数据和分析数据。还能获取云端服务器存储的相关数据，并且根据云端服务器存储的数据对语料库中存储的数据进行更新，实现数据的同步，及时更新和配置相关信息，从而提高语音分析的准确程度。

在本申请实施例中，通过获取根据预设的第一语音生成的第二语音、根据预存的语料库对第二语音进行分析得到第一标准信息、根据第一标准信息生成第一分析报告。根据预设的第一语音，指导用户发出第二语音，并且能够获取用户的第二语音，判断第二语音的发音标准程度，能够让用户及时了解到自己语音发音上的不足和缺陷，还能够根据发音标准程度为用户生成专属的第一分析报告。用户根据第一分析报告就能够有计划、有针对性地进行语音训练。

第二方面，本申请实施例还提供了用于执行第一方面实施例中提到的反馈式语言干预方法的反馈式语言干预系统。

在一些实施例中，如图6所示，反馈式语言干预系统包括：语音录入模块110、语音分析模块120、结果输出模块130以及反馈发送模块140。其中语音录入模块110用于获取根据预设的第一语音生成的第二语音，语音分析模块120用于根据预存的语料库对第二语音进行分析得到标准信息，结果输出模块130用于根据标准信息生成第一语音分析报告，反馈发送模块140用于将第一语音分析报告反馈到用户端，用户能够根据第一分析报告进行语音训练。这里的第一语音是预设的标准语音，第二语音可以是用户发出的语音，第一语音分析报告包括是根据第二语音进行分析得到的分析结果。根据预设好的第一语音，来提示用户念出与第一语音对应语音信息的第二语音，然后获取用户发出的第二语音。接着根据事先存储的语料库对第二语音进行分析得到第一标准信息。最后，根据第一标准信息生成第一分析报告。根据预设的第一语音，指导用户发出第二语音，并且获取用户的第二语音，判断第二语音的发音标准程度，能够让用户及时了解到自己语音发音上的不足和缺陷，还能够根据发音标准程度为用户生成专属的第一分析报告。用户根据第一分析报告就能够有计划、有针对性地进行语音训练。

第三方面，本申请实施例还提供了一种电子设备。

在一些实施例中，电子设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现本申请实施例中任一项反馈式语言干预方法。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本申请实施例描述的反馈式语言干预方法。处理器通过运行存储在存储器中的非暂态软件程序以及指令，从而实现上述的反馈式语言干预方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述反馈式语言干预方法。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的反馈式语言干预方法所需的非暂态软件程序以及指令存储在存储器中，当被一个或者多个处理器执行时，执行上述第一方面实施例中提到的反馈式语言干预方法。

第四方面，本申请实施例还提供了计算机可读存储介质。

在一些实施例中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于执行第一方面实施例中提到的反馈式语言干预方法。

在一些实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，比如，被上述电子设备中的一个处理器执行，可使得上述一个或多个处理器执行上述反馈式语言干预方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。