一种用于完善面试表现的模拟面试方法和装置

摘要

本发明提供了一种用于完善面试表现的模拟面试方法和装置，属于音视频处理技术领域。方法包括：建立面试的数据库；采集面试的音频数据和影像数据，将所述音频数据转换为文字信息，从所述音频数据中提取得到音频信息，从所述影像数据中提取得到影像信息；分析所述文字信息、音频信息和影像信息，分别构成面试回答的文字向量、音频矩阵和影像矩阵；依据所述面试岗位的问题库、行为注意重点表和能力要求表、以及与所述问题库中的问题对应的答案关键词，与所述面试回答的文字向量、音频矩阵和影像矩阵进行比对，得到二者的相关系数和/或距离参数；将所述相关系数和/或距离参数转换为面试意见及建议。本发明通过分析面试者在肢体动作、脸部表情、说话方式方面的行为特点，提供具有岗位针对性的改进意见。

说明书

技术领域

本发明涉及一种用于完善面试表现的模拟面试方法和装置，属于音视频处理技术领域。

背景技术

在招聘面试、入学升学的面试场景中，面试者能掌握的信息是极其匮乏的，这尤其体现在面试者得不到有效的面试反馈。实际上，在一场面试结束后，面试者只能通过回忆来猜测自己面试表现不佳的地方，摸索着提高自己的面试技能。同时，缺少模拟面试的机会也让人们的面试水平停滞不前。人们想要模拟实际的面试场景缺乏有效的途径，往往只能自己想象实际的场景。

市场上有少数创业公司推出了AI面试的服务，但这些AI面试服务往往是提供给企业的，即使是针对面试者的服务，也仅限于对岗位匹配度、面试表现进行打分。对于面试者来说，这些打分只是概括性的整体评价，无法得到直观、可操作的反馈意见。

现有评估受试者表现方法中，利用图像分析、自然语言处理、语音识别以及机器学习技术，提供受试者表现的评分结果。但是现有方法只是简单进行了面试者的面部特征、回答文字的特征、语音特征的拼接，最终进行维度单一的岗位匹配度或面试表现评分，给到面试者的反馈缺少个性化、针对性，面试者仍然得不到有效的面试反馈，他们的面试表现也难以提高。

发明内容

本发明的目的在于解决现有技术不能给出实用的面试表现改进意见的问题，提出了一种用于完善面试表现的模拟面试方法和装置，该技术方案能识别面试者在肢体动作、脸部表情、说话方式的行为，提供具有岗位针对性的改进意见。

为了实现上述目的，本发明采取如下技术方案。

一种用于完善面试表现的模拟面试方法，包括：建立面试的数据库，所述数据库包括面试岗位库，以及与所述面试岗位库对应的问题库、行为注意重点表和能力要求表、与所述问题库中的问题对应的答案关键词；采集面试的音频数据和影像数据，将所述音频数据转换为文字信息，从所述音频数据中提取得到音频信息，从所述影像数据中提取得到影像信息；分析所述文字信息、音频信息和影像信息，分别构成面试回答的文字向量、音频矩阵和影像矩阵；依据所述面试岗位的问题库、行为注意重点表和能力要求表、以及与所述问题库中的问题对应的答案关键词，与所述面试回答的文字向量、音频矩阵和影像矩阵进行比对，得到二者的相关系数和/或距离参数；将所述相关系数和/或距离参数转换为面试意见及建议。

进一步地，所述文字向量的构成方法包括：由自然语言处理的中文预训练模型从所述文字信息中提取面试者回答文字的向量低维度特征；利用文字分类算法得到回答用词丰富度的分类结果，作为文字向量。作为优选，所述文字的向量低维度特征是文字的Embedding特征，所述是文字分类算法是AdaBoost算法。

进一步地，所述音频矩阵的构成方法包括：通过时域分析和频域变换计算出所述音频信息的幅度、频率；通过神经网络对所述音频信息进行时序建模，输出流利度评分；综合所述幅度、频率以及流利度评分作为音频矩阵。

进一步地，所述影像矩阵的构成方法包括：在所述影像信息的每帧图像中定位面试者的骨骼关键点，根据骨骼关键点的运动轨迹识别面试者的手部动作向量和坐姿变化向量，提取面试者凝视方向，利用聚类算法判断面试者是否在进行眼神交流，同时计算面试者眼神的运动频率，得出面试者的眼神运动向量；利用人脸检测算法检测影像中的人脸区域，在人脸区域内计算局部图像特征，作为面试者微表情的表征信息，经过微表情分类器，判断出面试者脸部微表情向量；将所述手部动作向量、坐姿变化向量、眼神运动向量和脸部微表情向量共同作为影像矩阵。作为优选，所述人脸检测算法是Viola-Jones算法，所述局部图像特征是局部HOG特征，所述微表情分类器是SVM分类器。

进一步地，所述相关系数和/或距离参数转换包括：将所述文本向量比对后的相关系数和/或距离参数转换为回答的用词丰富度意见及建议，包含语气词、口头表达、专业词汇的用词意见及建议；将所述音频矩阵比对后的相关系数和/或距离参数转换为音频的幅度、频率、流利度意见及建议，包含音频的清晰度、接受度、语速、音调以及流利程度的意见及建议；将所述影像矩阵比对后的相关系数和/或距离参数转换为动作意见及建议，包含手部动作、坐姿变化、眼神运动、脸部微表情的意见及建议。

另一方面，本发明公开了一种用于完善面试表现的模拟面试装置，包括：数据库模块，所述数据库包括面试岗位库，以及与所述面试岗位库对应的问题库、行为注意重点表和能力要求表、与所述问题库中的问题对应的答案关键词；信息采集模块，采集面试的音频数据和影像数据，将所述音频数据转换为文字信息，从所述音频数据中提取得到音频信息，从所述影像数据中提取得到影像信息；信息分析模块，分析所述文字信息、音频信息和影像信息，构成面试回答的文字向量、音频矩阵和影像矩阵；比对模块，依据所述面试岗位的问题库、行为注意重点表和能力要求表、以及与所述问题库中的问题对应的答案关键词，与所述面试回答的文字向量、音频矩阵和影像矩阵进行比对，得到二者的相关系数和/或距离参数；建议反馈模块，将所述相关系数和/或距离参数转换为面试意见和建议。

本发明提出了一种用于完善面试表现的模拟面试方法和装置，其技术方案具有如下有益效果：

1.所述装置提供了一个特定的面试场所，能够完整地采集面试相关信息，可供面试者进行面试训练；

2.所述方法能够识别出面试者的手部动作、坐姿变化、眼神运动、脸部微表情、音频幅度和频率、流利度以及回答用词的丰富度，这能让面试者一目了然地关注到自己面试过程中有意或无意展示出的肢体动作、声音大小、语速、用词这些信息。回顾这些信息，能够帮助面试者了解自己的行为习惯、说话习惯；

3.所述方法能利用岗位对应的行为注意重点，能够帮助面试者抓住面试中说话方式、肢体动作、脸部表情的关键点；

4.所述装置是24小时都能够参与和获取的，任何面试者都能随时、不限次数地进行模拟面试，通过一次次的训练能够提高面试者的面试技能。

附图说明

图1是一个实施例中用于完善面试表现的模拟面试方法流程图。

图2是一个实施例中分析面试信息的流程图。

图3是一个实施例中用于完善面试表现的模拟面试装置结构示意图。

具体实施方式

下面结合附图详细描述本发明用于完善面试表现的模拟面试方法和装置的具体实施例。

图1是一个实施例中用于完善面试表现的模拟面试方法流程图，图3是一个实施例中用于完善面试表现的模拟面试装置结构示意图。如图所示，某公司的人力资源经理建立销售岗位的面试数据库，包括问题库、针对面试者的行为注意重点表和能力要求表、与问题库中的问题对应的答案关键词，这些资料都存储到图1所示的数据库模块中。

上述数据库中的问题库包含：请分享一次你成功的销售经历并说出自己的感悟、请分享一次你失败的销售经历并分析理由、你怎么找到产品的潜在用户、假设你向中超的足球队推荐本公司的球员表现自动评估系统，请阐述你的销售思路等。

上述行为注意重点表包含眼神飘忽、肩膀内缩、表情僵硬、语言结巴、用词单一等栏目：这些肢体动作、说话方式、脸部表情暴露出了面试者的不自信以及沟通能力的不足；能力要求表包含：逻辑能力、沟通交流能力、应变能力等内容。

上述与问题对应的答案关键词包括：一次成功的销售经历的感悟——了解商品的优势和特点、找到了合适的潜在用户等；一次失败的销售经历的理由——潜在用户分析不准确、宣传不到位等；找到产品的潜在用户——根据产品的特点建立潜在用户画像、合作各大网络平台发送定向广告等；推荐球员表现自动评估系统——向正在培训青年球员的球队加大推荐力度、首先联系某只球队进行试用，以建立有效的实例等。

模拟面试开始后，数据库模块从销售岗位的面试数据库的问题库中抽取出一定数量的面试问题，例如15个面试问题；面试问题以文字、图片或转换为语音的方式呈现，如面试问题合成为语音，声音由显示屏发出，同时显示屏中会显示出人工智能面试官的影像。

模拟面试过程中，信息采集模块所包含的摄像头、麦克风等设备，能够采集面试的影像信息和音频信息；当没有新的音频生成时，面试者的音频信息转换为文字信息，此次的回答文字就与该问题的答案关键词进行匹配，由匹配的准确率决定怎么选择下一个问题，这需要提前由人力资源经理决定，例如匹配准确率达到80％以上选择答案关键词更多的下一个问题，匹配准确率在60-80％之间选择关键词数量相同的问题，准确率在60％以下选择关键词更少的问题。

图2是一个实施例中分析面试信息的流程图。模拟面试结束后，信息采集模块将采集到的文字信息、音频信息以及影像信息，一并传送给信息分析模块，生成此次面试的文字向量、音频矩阵以及影像矩阵；生成文字向量的方法包括：由自然语言处理的中文预训练模型提取文字信息的低维度embedding特征，并利用AdaBoost算法进行回答用词丰富度的分类结果作为文字向量。

生成音频矩阵的方法包括：通过时域分析和频域转换计算出音频信息的幅度、频率；另外通过神经网络对音频信息进行时序建模，输出流利度评分；综合幅度、频率以及流利度评分作为音频矩阵。

生成影像矩阵的方法包括：在影像信息的每帧图像中定位面试者的骨骼关键点，根据骨骼关键点的运动轨迹识别面试者的手部动作向量和坐姿变化向量；并提取每帧图像中面试者的凝视方向，利用聚类算法判断面试者是否在进行眼神交流，同时计算面试者眼神的运动频率，综合得到面试者的眼神运动向量；同时利用Viola-Jones算法检测出人脸区域，计算区域内的局部HOG特征，经过SVM分类器，得到面试者脸部微表情向量；将手部动作向量、坐姿变化向量、眼神运动向量、脸部微表情向量共同作为影像矩阵。

信息分析模块生成的文字向量、音频矩阵以及影像矩阵会发送至比对模块，对照上述的行为注意重点表和能力要求表、问题库中的问题对应的答案关键词，得到二者的相关系数和/或距离参数；再由建议模块将相关系数和/或距离参数转换为面试意见及建议。

针对文字向量，将文字向量比对后的相关系数和/或距离参数转换为回答的用词丰富度意见以及建议，包含在语气词、口头表达、专业词汇几个方面的用词意见以及建议，典型的如少用语气词或口头表达，多用专业词汇，给出专业词汇的用词建议。

针对音频矩阵比对后的相关系数和/或距离参数，转换为音频的清晰度、接受度、语速、音调、流利度这些方面的意见及建议，如指出面试中语速太快、音调太高以及不够流利的部分，并建议面试者有意识地调整说话时的习惯。

针对影像矩阵比对后的相关系数和/或距离参数，转换为动作意见以及建议，包括手部动作、坐姿变化、眼神运动、脸部微表情几个方面：如要控制自己的坐姿端正、眼神专注、适当地使用肢体动作等。

上述的面试意见及建议组成了针对面试者的改进意见文档，能够帮助面试者改善自己的面试表现。

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。