一种基于全卷积神经网络模型的算题批改方法、算题批改装置

摘要

本发明提供的基于全卷积神经网络模型的算题批改方法、算题批改装置、电子设备及计算机可读存储介质，算题批改方法包括以下步骤：S1，对初始图片进行改质处理而得到第一图片；S2，全卷积神经网络模型通过识取像素点而获得若干算题子图片；S3，获得算题文本内容；S4，得到计算结果；S5，将计算结果与第一图片中的算题答案进行比对以完成对算题的批改。通过全卷积神经网络模型对第一图片进行像素识别，识取算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，直接识取算题图片，取消人工批改算题，提高算题的批改效率，具有优良的适用性。

说明书

技术领域

本发明属于人工智能技术领域，具体涉及一种基于全卷积神经网络模型的算题批改方法、算题批改装置、电子设备及计算机可读存储介质。

背景技术

数学是学习生涯中不可或缺的一门学科，学生在日常学习生活中，往往需要完成各种数学作业及测试，而学生完成之后，需要教师手动处理作业或试卷中的各个算题，给教师带来了相当大的工作量。

随着计算机技术和教育信息化的不断发展，计算机技术已经逐步应用于各种日常的教育活动中，例如利用计算机技术对学生提交的作业或试卷进行自动处理。

现有技术中，是预先建立一个习题库，该习题库中包括多个算题和算题对应的正确答案。对于学生提交的待批改算题，在习题库中进行搜索，若搜索到一模一样的算题，则根据该算题在习题库中的正确答案，对待批改算题进行处理，若搜索不到一模一样的算题，则需要教师对待批改算题进行人工批改。

然而，上述方法只能应用于待批改算题和习题库中的算题一模一样的情况，如果待批改算题和习题库中算题不一样就无法批改，而数学算题的题型丰富，千变万化，若发生简易变化，就无法进行批改，批改效率极低，适用性差

发明内容

本发明的第一目的是提供一种提高算题批改效率的基于全卷积神经网络模型的算题批改方法。

本发明的第二目的是提供一种应用上述算题批改方法的算题批改装置。

本发明的第三目的是提供一种实现上述算题批改方法的电子设备。

本发明的第四目的是提供一种实现上述算题批改方法的计算机可读存储介质。

为实现上述的第一目的，本发明提供的基于全卷积神经网络模型的算题批改方法包括以下步骤：S1，对智能终端所拍摄的初始图片进行改质处理而得到第一图片；S2，将第一图片输入至全卷积神经网络模型，全卷积神经网络模型通过识取第一图片的像素点而获得若干算题子图片；S3，将每一算题子图片输入至文字识别模型而获得各算题子图片对应的算题文本内容；S4，根据算题文本内容进行计算而得到计算结果；S5，将计算结果与第一图片中的算题答案进行比对以完成对算题的批改。

由上述方案可见，通过全卷积神经网络模型对第一图片进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

为实现上述的第二目的，本发明提供的应用上述算题批改方法的算题批改装置包括图片获取模块，用于获取第一图片，其中，第一图片记载有算题图片；图片识别模块，用于将第一图片输入至全卷积神经网络模型，通过全卷积神经网络模型而获得出第一图片中的算题子图片；文本识别模块，用于将每一算题子图片输入至文字识别模型，识别出每一算题子图片的算题文本内容；运算模块，用于根据识别出的算题文本内容，进行算题数学运算以获得计算结果，将计算结果与第一图片中的算题答案进行比对以完成对算题的批改。

由上述方案可见，通过全卷积神经网络模型对第一图像进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

为实现上述的第三目的，本发明提供的电子设备包括处理器、通信接口、存储器与通信总线，处理器、通信接口与存储器通过通信总线进行相互信息传输；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述算题批改方法的方法步骤。

由上述方案可见，通过全卷积神经网络模型对第一图像进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

为实现上述的第四目的，本发明提供的计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述算题批改方法的方法步骤。

由上述方案可见，通过全卷积神经网络模型对第一图像进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明所述的一种算题批改方法实施例的流程示意图。

图2是本发明所述的一种应用上述算题批改方法的算题批改装置实施例的结构示意图。

图3是本发明所述的一种实现上述算题批改方法的电子设备实施例的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的算题批改方法应用于本发明的算题批改装置，该算题批改装置可集成于电子设备，电子设备可以是个人计算机、工作站、移动终端等，该移动终端可以是手机、平板电脑等设置有操作系统的硬件设备。

算题批改方法实施例：

参见图1，本实施例的算题批改方法包括：

步骤S1，对智能终端所拍摄的初始图片进行改质处理而得到第一图片，改质处理包括依次进行的高斯滤波去噪、锐化去雾与动态直方图均衡化处理光照平衡，智能终端可以是手机、平板电脑等硬件设备；

步骤S2，将第一图片输入至全卷积神经网络模型，全卷积神经网络模型通过识取第一图片的像素点而获得若干算题子图片，步骤S2具体包括：

S21，全卷积神经网络模型识别第一图片的算题像素点与非算题像素点，以矩形框选取算题像素点以获得若干初始子图片，不同矩形框之间不包括相同的像素点，每一矩形框的四条边分别经过各算题图片对应的像素点中，在矩形框的四条边方向最边界的像素点，对像素点的判断可通过对算题样本训练集里的样本进行训练而得到，具体的，全卷积神经网络模型可以从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类，从而解决了语义级别的图像分割问题，全卷积神经网络模型与经典的深度卷积神经网络模型在卷积层使用全连接层得到固定长度的特征向量进行分类不同，全卷积神经网络模型可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图(feature map)进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图进行像素的分类，全卷积神经网络模型将传统深度卷积神经网络模型中的全连接层转化成一个个的卷积层，通过该模型，可以得到第一图像的每个像素点的类别信息(例如，算题像素为1、非算题像素为0)，即可以识别出第一图片中的每个像素点为算题像素点还是非算题像素点，

步骤S22，获取每一初始子图片于第一图片中的图片坐标信息，根据图片坐标信息确定每一初始子图片的高度与宽度，具体的，以第一图片的左下角为坐标原点并获得图片坐标系，从而根据每一初始子图片的四角坐标而获得图片坐标信息，进而确定每一初始子图片的高度和/或宽度；

步骤S23，将高度和/或宽度与预设值对比，若不符合预设值，则确定初始子图片为非算题子图片并将其去除，若符合预设值，则确定初始子图片为算题子图片；

步骤S3，将每一算题子图片输入至文字识别模型而获得各算题子图片对应的算题文本内容，算题文本内容包括算题文本与非算题文本，算题文本包括算式和/或公式的区域内的数字、字母、文字、字符、计算类型，计算类型包括四则混合运算、估算、带余数除法、分数计算、单位换算、竖式计算、脱式计算，文字识别模型包括残差网络模型与双向递归神经网络模型，步骤S3具体包括：

步骤S31，将每一算题子图片输入至残差网络模型中，提取每一算题子图片的特征向量，

步骤S32，将特征向量输入至双向递归神经网络模型，通过双向递归神经网络模型识别出每一算题子图片的文本信息，

步骤S33，提取每一算题子图片中文本信息的文本特征，具体为通过TF-IDF提取各算题子图片中文本信息的文本特征

步骤S34，将文本特征输入预设的文本分类器中，识取文本特征为算题文本内容，将文本特征中的非算题文本特征识取为干扰文本；

步骤S4，根据算题文本内容进行计算而得到计算结果，算题文本内容包括数字、字母、文字、字符以及计算类型；

步骤S5，将计算结果与第一图片中的算题答案进行比对以完成对算题的批改。

具体的，待搜索试卷中某一区域包含“385×8-265＝(YYY)”，其中的“YYY”为学生所答的计算结果，针对该区域，算题引擎通过全卷积神经网络模型而识别出“3”、“8”、“5”、“×”、“8”、“-”、“2”、“6”、“5”、“＝”、“(”、“YYY”、“)”，计算类型为四则混合运算，进而再自动计算得到该区域的计算结果。

优选的，全卷积神经网络模型针对符号的识别，所述符号包括包括“<”和/或“>”，训练过程如下：

步骤S100，获取数据，由于涉及大小等于号的题目都会写在一个圆圈内，所以用word表格模式设置一张带有m*n个圆圈的纸，通过手写的方式获取到各种手写体的样本。然后再通过至少两个角度的拍照、分割，再对图片进行各种数据增强处理(椒盐噪点、高斯模糊、亮度调整，上下/左右镜像对换等)，获得足够数量的数据集；

步骤S200，设计网络，属于图象三分类的任务，通过全卷积神经网络(CNN)对图片提取特征，由于分类数不多，所以网络并不需要太深和太复杂，因太深和/或太复杂可能导致过拟合、时间成本过大等等问题；

步骤S300，调整数据格式并训练，将数据处理成适合网络的格式并开始训练，最终得到一个模型(网络结构+参数)。

通过全卷积神经网络模型对记载有算题影像的第一图片进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算而得到计算结果，将计算结果与第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

算题批改装置实施例：

参见图2，应用上述算题批改方法的算题批改装置包括图片获取模块，用于获取第一图片，其中，第一图片记载有算题图片；图片识别模块，用于将第一图片输入至全卷积神经网络模型，通过全卷积神经网络模型而获得第一图片中的算题子图片；文本识别模块，用于将每一算题子图片输入至文字识别模型，识别出每一算题子图片的算题文本内容，文字识别模型包括残差网络模型与双向递归神经网络模型；运算模块，用于根据识别出的算题文本内容，进行算题数学运算以获得计算结果，将计算结果与第一图片中的算题答案进行比对以完成对算题的批改。

通过全卷积神经网络模型对第一图像进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

电子设备实施例：

参见图3，电子设备包括处理器、通信接口、存储器与通信总线100，处理器、通信接口与存储器通过通信总线100进行相互信息传输；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述算题批改方法的方法步骤。

例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本发明所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

通信总线100可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用线条表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

通过全卷积神经网络模型对第一图像进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

计算机可读存储介质实施例：

计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述算题批改方法的方法步骤。

实现上述算题批改方法的电子设备的存储器所存储的计算机程序如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述变频家用电器控制方法的各个步骤。

其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

通过全卷积神经网络模型对第一图像进行像素识别，确定算题子图片并识取其对应的算题文本内容，根据算题文本内容自动对各算题进行数学计算，将所述计算结果与所述第一图片中的算题答案进行比对以完成对算题的批改，从而无需从预存题库中检索相同算题，直接识取算题图片，取消人工批改算题，实现算题的自动批改，提高算题的批改效率，具有优良的适用性。

最后需要强调的是，本发明不限于上述实施方式，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。