用于智能外呼机器人的话术测试方法及装置

摘要

本发明提供一种用于智能外呼机器人的话术测试方法及装置，该方法包括：获取目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据，通过使用获取历史业务中产生的历史业务流水数据，作为目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到测试结果，与现有技术中采用人工手动模拟客户的问题进行测试的方案相比，能够减少大量的日常维护，提高测试效率，降低人力成本。

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于智能外呼机器人的话术测试方法及装置。

背景技术

智能外呼机器人是综合利用自动语音识别(Automatic Speech Recognition，ASR)、文字转语音(Text To Speech，TTS)以及自然语言处理(Natural LanguageProcessing，简称NLP)技术并面向企业客户提供的一款智能客服机器人产品。

该产品基于领先的AI技术，使用机器人外呼代替人工外呼，可根据业务场景，自动发起机器人电话外呼任务，在机器人与客户沟通的过程中，机器人可对实时语音流进行语音识别，挖掘客户意图，根据预置的话术模板，以真人语音录播或TTS播报的形式与客户进行沟通交流，通过对单通对话内容的识别与筛选，以极高的反应速度以及高拟人度自然音色打造媲美真人的语音互动体验，低成本高精准触达客户，在通话过程中收集业务信息，并对数据加以统计处理，高效准确地锁定意向客户，实现对用户的智能化服务，个性化服务。该系统打通了外呼服务全流程，通过简单的界面操作即可完成复杂的外呼任务，解决客户海量难寻觅，员工昂贵易流失的问题。而产品具备的自主学习能力，可以从海量数据中快速学习发现新知识点，持续提供更优服务，高效解决企业回访、通知、调研等业务场景问题，从而达到提高效率、降低成本的目的。

然而，现有针对场景话术库的测试方案为调用接口，手动输入模拟客户的问题，然后再对比实现客户问题标注的意图分类，测试验证意图和机器人返回对话的结果。由于目前智能外呼机器人的大规模使用，业务场景较多，单个手动输入模拟客户回答，需要投入的人力成本比较高，而且难以模拟覆盖到真实场景客户的各种回答，且需要日常维护大量的测试集，造成测试的人员成本较高且测试效率低下，每次上线迭代新功能需要回归验证的工作繁琐且效率低下。

因此，如何提供一种用于智能外呼机器人的话术测试方案，能够减少大量的日常维护，提高测试效率，降低人力成本是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供一种用于智能外呼机器人的话术测试方法及装置，能够减少大量的日常维护，提高测试效率，降低人力成本。

第一方面，本发明提供一种用于智能外呼机器人的话术测试方法，包括：

获取目标流水数据；

利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；

将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；

其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

进一步地，所述获取目标流水数据包括：

接收目标业务场景和目标时间段的第一输入；

响应于所述第一输入，将所述目标业务场景和所述目标时间段对应的历史业务流水数据作为目标流水数据复制到目标流水文件；

将所述目标流水文件显示于测试用例列表中。

进一步地，还包括：按照用户的反应类型对所述历史业务流水数据进行对应的差异化处理。

进一步地，所述利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；包括：

接收用户对所述目标流水数据进行流量回放的第二输入；

响应于所述第二输入，查找与所述目标流水数据对应的智能外呼机器人的执行测试单元；

将所述目标流水数据中的历史客户文段输入到所述智能外呼机器人中，得到当前反馈信息。

进一步地，所述反馈信息包括：回复文本信息、节点跳转信息、参数赋值信息；所述历史反馈信息包括：历史回复文本信息、历史节点跳转信息、历史参数赋值信息；

所述将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果包括：

将所述回复文本信息与所述历史回复文本信息比较，得到第一差异结果；

将所述节点跳转信息与所述历史节点跳转信息比较，得到第二差异结果；

将所述参数赋值信息与所述历史参数赋值信息比较，得到第三差异结果；

将所述第一差异结果、所述第二差异结果以及所述第三差异结果确定为测试结果。

进一步地，在将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果之后，还包括：

查找配置文件中的预设通知方式；

将回归测试结果通过预设方式实时通知到测试人员。

进一步地，还包括：

重复预设数量次利用所述目标流水数据对智能外呼机器人进行话术测试得到预设数量的测试结果；

比对预设数量的测试结果是否相同，得到比对结果。

第二方面，本发明提供一种用于智能外呼机器人的话术测试装置，包括：

流水获取模块，用于获取目标流水数据；

话术测试模块，用于利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；

结果比对模块，用于将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；

其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

进一步地，所述流水获取模块包括：

第一输入模块，用于接收目标业务场景和目标时间段的第一输入；

第一响应模块，用于响应于所述第一输入，将所述目标业务场景和所述目标时间段对应的历史业务流水数据作为目标流水数据复制到目标流水文件；

列表显示模块，用于将所述目标流水文件显示于测试用例列表中。

进一步地，还包括：

差异处理模块，用于按照用户的反应类型对所述历史业务流水数据进行对应的差异化处理。

进一步地，所述话术测试模块包括：

第二输入模块，用于接收用户对所述目标流水数据进行流量回放的第二输入；

第二响应模块，用于响应于所述第二输入，查找与所述目标流水数据对应的智能外呼机器人的执行测试单元；

当前反馈模块，用于将所述目标流水数据中的历史客户文段输入到所述智能外呼机器人中，得到反馈信息。

进一步地，所述反馈信息包括：回复文本信息、节点跳转信息、参数赋值信息；所述历史反馈信息包括：历史回复文本信息、历史节点跳转信息、历史参数赋值信息；

所述结果比对模块包括：

第一比对单元，用于将所述回复文本信息与所述历史回复文本信息比较，得到第一差异结果；

第二比对单元，用于将所述节点跳转信息与所述历史节点跳转信息比较，得到第二差异结果；

第三比对单元，用于将所述参数赋值信息与所述历史参数赋值信息比较，得到第三差异结果；

结果确定单元，用于将所述第一差异结果、所述第二差异结果以及所述第三差异结果确定为测试结果。

进一步地，还包括：

方式查找模块，用于查找配置文件中的预设通知方式；

信息通知模块，用于将回归测试结果通过预设方式实时通知到测试人员。

进一步地，还包括：

重复测试模块，用于重复预设数量次利用所述目标流水数据对智能外呼机器人进行话术测试得到预设数量的测试结果；

结果比对模块，用于比对预设数量的测试结果是否相同，得到比对结果。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于智能外呼机器人的话术测试方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于智能外呼机器人的话术测试方法的步骤。

本发明提供的一种用于智能外呼机器人的话术测试方法及装置，通过使用获取历史业务中产生的历史业务流水数据，作为目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；，与现有技术中采用人工手动模拟客户的问题进行测试的方案相比，能够减少大量的日常维护，提高测试效率，降低人力成本。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之一；

图2为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之二；

图3为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之三；

图4为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之四；

图5为本发明又一实施例提供的一种用于智能外呼机器人的话术测试方法的交互图；

图6为本发明提供一种用于智能外呼机器人的话术测试装置的组成结构示意图；

图7是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明的一种用于智能外呼机器人的话术测试方法。

图1为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之一；图2为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之二；图3为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之三；图4为本发明实施例提供的一种用于智能外呼机器人的话术测试方法的流程图之四。

在本发明的一种具体实施方式中，本发明实施例提供一种用于智能外呼机器人的话术测试方法，包括：

步骤110：获取目标流水数据；

在本发明实施例中，首先需要获取到目标流水数据，目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据，具体地，在实践中，由于在对智能外呼机器人进行改进后，并不能知晓此事的智能外呼机器人是否能够正常工作，因此需要对智能外呼机器人进行测试，在现有技术中，由于目前智能外呼机器人的大规模使用，业务场景较多，单个手动输入模拟客户回答，需要投入的人力成本比较高，而且难以模拟覆盖到真实场景客户的各种回答，且需要日常维护大量的测试集，造成测试的人员成本较高且测试效率低下，每次上线迭代新功能需要回归验证的工作繁琐且效率低下。而本发明实施例中直接使用历史业务中产生的历史业务流水数据进行测试，解决了测试人员需要维护大批量测试用例手动回归线上话术库的问题，本实施例中提供的测试方法无需维护测试用例。

步骤120：利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；

其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

在获取到目标流水数据后，可以使用该目标流水数据进行话术测试。具体地在目标流水数据中存在机器人与用户的对话文本，而智能外呼机器人的作用是和用户实现恰当的对话，满足用户的需求。而且在目标流水数据中还包括节点的跳转和参数的赋值，在具体进行测试时，由于在目标流水数据中已经存在了历史的智能外呼机器人对用户的对话的反馈信息，因此可以将用户的对话文本输入到当前需要测试的智能外呼机器人中，得到当前的反馈信息。

步骤130：将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果。

将目标流水数据中的历史反馈信息与当前的反馈信息进行比对，既可以得出两者是否有差异，将存在差异的地方标记出来，等待测试人员或者其他相关人员查看测试结果。

具体地，在实践中，为了获取目标流水数据，使用特定的流水数据对更新后的智能外呼机器人进行回归测试，可以执行以下步骤：

步骤210：接收目标业务场景和目标时间段的第一输入；

首先，可以根据智能外呼机器人的编码，查找到智能外呼机器人对应的目标业务场景，一般地，业务场景有：营销，催收、通知、预约、促销活动等。在具体中，可以在用户界面上显示各个能够选择的目标业务场景的编号供用户进行选择，而且用户还可以使用日记进行某些日期或某个时间段的流水数据的选择，从而利用目标业务场景的编号和日期来确定需要的目标流水数据。

步骤220：响应于所述第一输入，将所述目标业务场景和所述目标时间段对应的历史业务流水数据作为目标流水数据复制到目标流水文件；

在接收到目标业务场景和目标时间段，可以在历史流水的数据库中进行数据的筛选，找到目标数据，并且将该所述目标业务场景和所述目标时间段对应的历史业务流水数据复制到目标流水文件，方便后续进行调用。

步骤230：将所述目标流水文件显示于测试用例列表中。

在得到目标流水文件后，可以将目标流水文件采用列表的形式显示在测试用例列表中，具体地可以显示文件名、文件创建日期、流水数据应用的业务场景以及目标流水文件截取自历史流水数据的时间，从而方便后续选取使用。

当然，在进行历史业务流水数据的筛选后，还要按照用户的反应类型对所述历史业务流水数据进行对应的差异化处理。例如，在智能外呼机器人说话时，用户打断了机器人的讲话的情况，需要进行打断处理，在目标流水文件中需要进行标记，又例如，当智能外呼机器人说话后，用户过了预设时间长度不说话、不反馈，这时智能外呼机器人会重复上句话直到预设数量挂断，此时需要静默处理，进行静默标记，从而方便在利用目标流水数据进行测试时做对应的处理。

在实践中，当得到目标流水数据后，可以利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息：将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；，具体地，可以进行以下步骤：

步骤310：接收用户对所述目标流水数据进行流量回放的第二输入；

首先用户可以在用户操作界面上选择所要使用的目标流水文件，而目标流水文件中存有目标流水数据，在选择了测试用例列表中选择了目标流水文件后，可以点击“流量回放”按钮，启动该目标流水数据进行测试。

步骤320：响应于所述第二输入，查找与所述目标流水数据对应的智能外呼机器人的执行测试单元；

具体地，在点击“流量回放”按钮，启动该目标流水数据进行测试后，首先网关接口收到请求后，通过路由找到对应的业务场景的测试执行单元，异步执行流量数据的调用，并且进行测试。

步骤330：将所述目标流水数据中的历史客户文段输入到所述智能外呼机器人中，得到反馈信息；

在目标流水数据中存有机器人与用户的对话文本以及节点跳转信息、参数赋值信息，使用用户的历史客户文段输入到智能外呼机器人中，得到机器人输出的反馈信息，反馈信息包括：回复文本信息、节点跳转信息、参数赋值信息；所述历史反馈信息包括：历史回复文本信息、历史节点跳转信息、历史参数赋值信息。将所述反馈信息与所述的目标流水数据中的历史反馈信息进行对比，得到回归测试结果。

具体地，为了将所述反馈信息与所述的目标流水数据中的历史反馈信息进行对比，得到回归测试结果，可以进行以下步骤：

将所述回复文本信息与所述历史回复文本信息比较，得到第一差异结果；

将所述节点跳转信息与所述历史节点跳转信息比较，得到第二差异结果；

将所述参数赋值信息与所述历史参数赋值信息比较，得到第三差异结果；

将所述第一差异结果、所述第二差异结果以及所述第三差异结果确定为测试结果

将当前反馈信息中的机器人与用户的对话文本以及节点跳转信息、参数赋值信息与目标流水数据中的户的对话文本以及节点跳转信息、参数赋值信息进行比对，找到不同之处，得到回归测试结果。

值得指出的是，在实践中，为了解决测试人员无法及时获取跑批结束通知，且需要定期查看的问题，耗时耗力的问题，可以在将所述反馈信息与所述的目标流水数据中的历史反馈信息进行对比，得到回归测试结果之后，查找配置文件中的预设通知方式；将回归测试结果通过预设方式实时通知到测试人员。例如，可以使用邮件的方式通知到测试人员，并且可以同时发送大致的测试结果报告作为附件，从而方便测试人员无需去实地查看就可以得到测试结果。

当然，在实践中，也可以使用其他的统治方式，例如使用短信通知，使用即时通信软件进行通知，还可以根据不同的测试结果配置不想的通知方式，例如当测试结果非常紧急时，可以使用拨打电话进行通知的方式，当然，也可以同时使用多种方式进行通知，从而避免单一通知方式导致的错漏。

在上述实施例的基础上，本实施例中，为了测试智能外呼机器人的稳定性，还可以进行以下步骤：

步骤410：重复预设数量次利用所述目标流水数据对智能外呼机器人进行话术测试得到预设数量的测试结果；

步骤420：比对预设数量的测试结果是否相同，得到比对结果。

也就是说，可以使用同一个目标流水数据对智能外呼机器人进行测试，这时由于外部情况的不同，测试结果可能会存在一些不同，可根据这些测试结果的差异大小来确定智能外呼机器人的稳定性能。

本发明实施例提供的一种用于智能外呼机器人的话术测试方法通过使用获取历史业务中产生的历史业务流水数据，作为目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到测试结果，与现有技术中采用人工手动模拟客户的问题进行测试的方案相比，能够减少大量的日常维护，提高测试效率，降低人力成本。

请参考图5，图5为本发明又一实施例提供的一种用于智能外呼机器人的话术测试方法的交互图。

在本实施例中，前端页面的前段框架采用ant design，Ant Design是一套企业级的前端设计语言和基于React的前端框架实现，主要用于企业级金融产品的交互语言和视觉体系。在本前端页面中，可以在用户交互界面中实现流水复制、文件选择以及流量回放的操作，并且通过路由器与平台服务相连接，平台服务的后段框架采用Spring Boot。

Spring Boot的设计目的是用来简化新应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置，默认配置了很多框架的使用方式，整合了所有的框架。使用Spring Boot可以非常方便、快速搭建项目，使我们不用关心框架之间的兼容性，适用版本等各种问题，我们想使用任何东西，仅仅添加一个配置就可以，所以使用Spring Boot非常适合构建微服务。

因此，在本发明实施例中，在平台服务中设置有标准化测试方法，自动化引擎和任务调度中心，当前台启动“流量回放”进行智能外呼机器人的测试时，通过路由器查找到对应的业务场景的任务执行单元，由任务调度中心进行任务的调度，并行处理各个现成的任务，例如在一种具体实施方式中，进行的业务场景为“催收”；那么在目标流水文件中可以存在一百条智能外呼机器人进行催收的流水数据，这样可以同时开启10个线程，每个线程执行10条流水数据的测试，从而加快得到测试结果。

例如，目标流水文件中的催收信息如下：

机器人:您好#1我是{XXX}的客服,请问是{XX}吗？

(spend＝120ms)；

客户:哎对哪位呃XXX是吧嗯；

[where,0.885-6208----spend＝610ms](置信:true,0.812)；

机器人:我这边是XXX；(spend＝25ms)；

客户:嗯嗯嗯说什么事；

[information,0.983-6213----spend＝315ms](置信:true,0.795)；

机器人:您的{XXX}账单，{8154.00元}已经逾期{1}天了，需要您今天还款。(spend＝25ms)；

客户:哦哦好我知道啊；[confirm,1.0-6219----spend＝467ms](置信:true,0.849)；

机器人:好的，如果您有其他问题也可以拨打九五妖妖八咨询，祝您生活愉快，再见。(spend＝41ms)

在该目标流水文件中的催收信息可以看到机器人对客户的每句话都进行回应，在每句客户的话后边可以看到spend参数，该参数为机器人判断出该句客户的客户意图的用时，而在机器人的后边也存在一个spend参数，该参数为机器人在话术库中找到相应的话术模板，并根据客户的信息填写模板，得到反馈给客户的回复信息的所用的时间。当然，在客户的对话后边还存在一些其他的参数，例如where说明客户在提问哪里，可以回答自己的位置或身份，因此机器人回答自己是京东白条的客服，而information说明客户想要知道具体的信息，此时可以向客户提供此次交流的主要目标，也就是催收模板的正文：您的{京东白条}账单，{8154.00元}已经逾期{1}天了，需要您今天还款。其中{}中的内容为根据客户的信息填写的内容，而其他的部分为话术模板，confirm信息说明客户已经确定知晓了此事，此时即完成了一次催收，可以进行话术收尾。

而在进行测试时，由于智能外呼机器人发生了变动，在相同的“催收”业务场景下，客户相同的回复，机器人却有可能出现与之前不一样的回复，本发明实施例重点对不相同的地方进行关注，从而利用这些不一样的地方进行该智能外呼机器人是更加先进了还是需要继续改进。

例如，在使用本催收信息进行测试时，得到了一下的测试结果：

机器人:您好#1我是{XXX}的客服,请问是{XX}吗？

(spend＝133ms)；

客户:哎对哪位呃XXX是吧嗯；

[where,0.885-6208----spend＝410ms](置信:true,0.812)；

机器人:我这边是XXX；(spend＝25ms)；

客户:嗯嗯嗯说什么事；

[information,0.983-6213----spend＝415ms](置信:true,0.795)；

机器人:您的{XXX}账单，{8154.00元}已经逾期{1}天了，需要您今天还款。(spend＝22ms)；

客户:哦哦好我知道啊；[confirm,1.0-6219----spend＝467ms](置信:true,0.849)；

机器人:好的，如果您有其他问题也可以拨打九五妖妖八咨询，祝您生活愉快，再见。(spend＝31ms)

通过对比上述的两段信息可以知道，两者除了spend参数外，其他的内容均一致，因此，而且spend参数变小了，说明通过此次的智能外呼机器人的改进，使得智能外呼机器人的整体反应速度更加快速了。当然，在实践中，也可能是置信发生了变动，或者其他的参数或使用的话术模板出现了变动，具体情况可以具体分析，这里不再一一列举。

下面对本发明提供的用于智能外呼机器人的话术测试装置进行描述，下文描述的用于智能外呼机器人的话术测试装置与上文描述的用于智能外呼机器人的话术测试方法可相互对应参照。

请参考图6，图6为本发明提供一种用于智能外呼机器人的话术测试装置的组成结构示意图。

在本发明又一实施例中，本发明提供一种用于智能外呼机器人的话术测试装置600，包括：

流水获取模块610，用于获取目标流水数据；

话术测试模块620，用于利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；

结果比对模块630，用于将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；

其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

进一步地，所述流水获取模块包括：

第一输入模块，用于接收目标业务场景和目标时间段的第一输入；

第一响应模块，用于响应于所述第一输入，将所述目标业务场景和所述目标时间段对应的历史业务流水数据作为目标流水数据复制到目标流水文件；

列表显示模块，用于将所述目标流水文件显示于测试用例列表中。

进一步地，还包括：差异处理模块，用于按照用户的反应类型对所述历史业务流水数据进行对应的差异化处理。

进一步地，所述话术测试模块包括：

第二输入模块，用于接收用户对所述目标流水数据进行流量回放的第二输入；

第二响应模块，用于响应于所述第二输入，查找与所述目标流水数据对应的智能外呼机器人的执行测试单元；

当前反馈模块，用于将所述目标流水数据中的历史客户文段输入到所述智能外呼机器人中，得到当前反馈信息。

进一步地，所述反馈信息包括：回复文本信息、节点跳转信息、参数赋值信息；所述历史反馈信息包括：历史回复文本信息、历史节点跳转信息、历史参数赋值信息；

所述结果比对模块包括：

第一比对单元，用于将所述回复文本信息与所述历史回复文本信息比较，得到第一差异结果；

第二比对单元，用于将所述节点跳转信息与所述历史节点跳转信息比较，得到第二差异结果；

第三比对单元，用于将所述参数赋值信息与所述历史参数赋值信息比较，得到第三差异结果；

结果确定单元，用于将所述第一差异结果、所述第二差异结果以及所述第三差异结果确定为测试结果。

进一步地，还包括：

方式查找模块，用于查找配置文件中的预设通知方式；

信息通知模块，用于将回归测试结果通过预设方式实时通知到测试人员。

进一步地，还包括：

重复测试模块，用于重复预设数量次利用所述目标流水数据对智能外呼机器人进行话术测试得到预设数量的测试结果；

结果比对模块，用于比对预设数量的测试结果是否相同，得到比对结果。

本发明实施例提供的一种用于智能外呼机器人的话术测试装置通过使用获取历史业务中产生的历史业务流水数据，作为目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到测试结果，与现有技术中采用人工手动模拟客户的问题进行测试的方案相比，能够减少大量的日常维护，提高测试效率，降低人力成本。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行用于智能外呼机器人的话术测试方法，该方法包括：获取目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的用于智能外呼机器人的话术测试方法，该方法包括：获取目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的用于智能外呼机器人的话术测试方法，该方法包括：获取目标流水数据；利用所述目标流水数据对智能外呼机器人进行话术测试得到当前反馈信息；将当前反馈信息与所述目标流水数据中的历史反馈信息进行对比得到测试结果；其中，所述目标流水数据为所述智能外呼机器人在历史业务中产生的历史业务流水数据。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。