基于方言识别的人物画像智能终端

摘要

本发明属于人工智能领域，本发明提供了一种基于方言识别的人物画像智能终端。该方法包括：步骤(1)输入不同方言的关键词；(2)对方言关键词进行预处理；(3)进行特征提取；(4)训练方言样本并测试样本；(5)形成方言库；(6)输入服刑人员的音频文件，与方言库的数据进行匹配，输出结果；(7)输入服刑人员的视频文件；(8)进行面部情感捕捉；(9)在标签库匹配数据；(10)将服刑人员音频输出文件与标签库数据结合；(11)输出服刑人员用户画像。本发明可无法听懂多种方言的问题，及基于人物画像，给服刑人员提供智能矫治方案，实现“一人一策”，解决警力不足问题。

说明书

技术领域

本发明是属于人工智能领域，本发明提供了一种基于方言识别的人物画像智能终端。

背景技术

人工智能企业的主要应用领域主要集中在金融、电商、安防、教育等领域。应用于监狱领域还是首次，本项目使用的人工智能中的多项技术，包括计算机视觉技术，语音识别技术，深度学习的搜索算法和推荐算法，文字图像识别，指纹识别等，实现对监狱服刑人员的基础信息管理，服刑人员与服刑人员、服刑人员与探监人员的语言交流(包括方言)的监听与分析，服刑人员的日常生活智能管理，以及制定服刑人员一人一策的矫治改造方针。不仅可以节省监狱管理中的人力物力，还填补了监狱信息化工作中的一项空白，对促进我国监狱监管与服刑人员改造与矫治以及深入开展监狱信息化建设有着举足轻重的意义。

发明内容

本发明的目的是：提供一种基于方言识别的人物画像智能终端，本发明可无法听懂多种方言的问题，及基于人物画像，给服刑人员提供智能矫治方案，实现“一人一策”，解决警力不足问题。

为了实现上述技术目的，本发明采用的技术方案如下：(1)输入不同方言的关键词；(2)对方言关键词进行预处理；(3)进行特征提取；(4)训练方言样本并测试样本；(5)形成方言库；(6)输入服刑人员的音频文件，与方言库的数据进行匹配，输出结果；(7)输入服刑人员的视频文件；(8)进行面部情感捕捉；(9)在标签库匹配数据；(10)将服刑人员音频输出文件与标签库数据结合；(11)输出服刑人员用户画像。

所述的内容还包括在墙面或桌面固定一个平板终端，进行实时语音转文本显示，如同字幕一样，辅助狱警的监听工作，减轻狱警在监听过程中的精神压力。同时可以快速对某段话进行特殊标识，如危险、重点关注、听不清等，方便后台进行监听审核。

所述的内容还包括语音识别技术，基于MFCC特征分析，HMM-GMM模型，深度神经网络的语音识别技术，用于服刑人员使用的多地方言的语音识别。通过边缘计算，筛选出敏感关键词，存储到云服务器，解决监狱管理人员无法听懂方言的问题，同时可以根据服刑人员话语中的敏感关键词作心理情绪分析，分析人物画像，构建服刑人员知识图谱。

所述的内容还包括用于会话监听过程中，实时识别服刑人员使用的各地方言，通过自动识别敏感关键词进行预警与标注，生成情绪标签，建立用户画像知识图谱。

所述的内容还包括通过语音识别，将服刑人员会见音频或视频进行语音识别生成文本；实现监狱地图可视化及服刑人员一览表。

所述的内容还包括通过角色分析分离谈话人内容并生成对话文本及波形图，实现声文同步、自由选择角色、语音段播放等。

所述的内容还包括远程会见保存的视频文件可以先抽取音频，然后进行语音识别保存文本文件。

所述的内容还包括对于视频会议，主要是关于犯人矫治、监狱治理的视频教育，可以向狱警和干部传达先进的犯人矫治理念。将一些视频内容开放给犯人，可以让犯人理解犯人矫治理念，从而配合监狱的管理工作。对于会议视频，通过关键字识别能够生成既定格式的会议纪要。

所述的内容还包括通过文本处理技术、专业领域词汇表权重分配，实现关键词识别、短串语义关联、语义索引、上下文语义理解。

所述的内容还包括构建知识图谱和人物关系分析：在服刑人员会见历史记录数据和基础信息数据的基础上，绘制服刑人员人物画像和人物关系网，犯人矫治方针知识图谱。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的原理示意图。

具体实施方式

语音识别技术，基于MFCC特征分析，HMM-GMM模型，深度神经网络的语音识别技术，用于服刑人员使用的多地方言的语音识别。通过边缘计算，筛选出敏感关键词，存储到云服务器，解决监狱管理人员无法听懂方言的问题，同时可以根据服刑人员话语中的敏感关键词作心理情绪分析，分析人物画像，构建服刑人员知识图谱。

基于深度学习的搜索算法和推荐算法，服刑人员与智能矫治机器人进行问答交互时，智能矫治机器人自动提取与匹配服刑人员用户画像(包括语音记录，心理情绪分析记录，问答记录等)，作出针对该服刑人员特定的信息反馈，推荐一个最优的答案。

基于深度学习的人脸检测算法，将对此项目中人脸和情感的复杂性和非结构化的特征做优化的分析。本项目将结合基于深度学习的自动分析，并结合可视分析方法，而实现对人物做半自动的情感分析，达到更加优化的情感分析结果。特定地，针对服人员所拍摄的视频，首先被分成若干帧图像，每一帧都使用人脸检测、人物识别的技术、进而分析出人物的面部表情。在对普通人的情感描述中，我们适用了7种基本类型：生气，惊喜，快乐，中立，悲伤，厌恶，恐惧。使用特定的优化方法，将基本的感分类再做细化，从而提升服刑人员的情感分析的准确性。本项目收集在监狱所拍摄的视频数据，对人脸检测技术进行实测，并针对性地做优化。为更好的理解服刑人员，在识别人物的过程中还增加了以下特征，包括：面部标志,正脸侧脸,遮挡程度等。本项目为了提升对情感分析的准确性，还将获取公开的tedtalks的数据，和其他可以应用到情感分析的公开数据集。

语音合成技术，通过语音合成技术，将文本内容合成语音，在人机交互中发挥功能。

信号处理技术，对音频文件的首尾端静音切除，减少干扰。同时能够标记模糊音段(即音频较低，不容易听清楚的音频)，实现特定音频可重点重复的收听，以免遗漏重要对话内容。同时通过音频生成音频波形图，实现声文同步，提升用户体验与数据展示效果。

语义分析技术，通过文本处理技术、专业领域词汇表权重分配，实现短串语义关联、语义索引、上下文语义理解。在此基础上可以构建知识图谱与人物关系。

用于会话监听过程中，实时识别服刑人员使用的各地方言，通过自动识别敏感关键词进行预警与标注，生成情绪标签，建立用户画像知识图谱。

通过语音识别，将服刑人员会见音频或视频进行语音识别生成文本；实现监狱地图可视化及服刑人员一览表。

通过角色分析分离谈话人内容并生成对话文本及波形图，实现声文同步、自由选择角色、语音段播放等。远程会见保存的视频文件可以先抽取音频，然后进行语音识别保存文本文件

对于视频会议，主要是关于犯人矫治、监狱治理的视频教育，可以向狱警和干部传达先进的犯人矫治理念。将一些视频内容开放给犯人，可以让犯人理解犯人矫治理念，从而配合监狱的管理工作。对于会议视频，通过关键字识别能够生成既定格式的会议纪要。

用于教育矫治过程中，与服刑人员进行智能语音问答，通过深度学习与用户画像，利用最优推荐算法，实时推送一人一策改造方案内容，声文并茂进行场景化教育和改造，提高改造效果，并显著减少管理成本。语义分析：通过文本处理技术、专业领域词汇表权重分配，实现关键词识别、短串语义关联、语义索引、上下文语义理解。

构建知识图谱和人物关系分析：在服刑人员会见历史记录数据和基础信息数据的基础上，绘制服刑人员人物画像和人物关系网，犯人矫治方针知识图谱。

基于人脸检测的情感分析：情感分析主要研究人们对某种事物的意见和情绪，比较常多见的情感表达形式是在网络上发表正面或负面意见，也因此文本情感分析也被广泛研究和应用。这一种研究所基于文本和语义的分析，是主观类型的情感分析。此项目着重的是客观类型的情感分析，是对主观类型的情感分析的一个有益补充。情感表达形式是通过视频中人脸、面部表情、人物四肢移动的表达，当人物出现不自觉的情感表达的时候，使用自动化的分析方法就可以比较准确地了解人物的喜怒哀乐。这种自动分析的方法不需要借助于主观描述，从而可以应用特定的场景中。譬如，在监狱人员的日常监管中，服刑人员并不会过多地主观描述自己的感受。此项目利用深度学习技术结合视频分析技术，提高视频情感分析的准确度，从而达到更好地分析情感、关联分析人物情感和行为、并做情感和行为的预测。