一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统

摘要

本发明提出了一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统，该方法通过对网络模型中卷积网络感受野的减少、图像处理中的重叠切分以及硬件方面对内存扩展三者之间的协同优化，实现了对图像边缘数据的有效增强，在图像超分辨重建、去模糊、去雾化等低等级视觉任务的深度学习算法领域达到在适用于边缘端部署应用的目的。本发明同时也解决了在计算能力弱、内存空间小的边缘端部署深度神经网络的问题，以及发明中涉及的边缘端实时处理图像信号的任务，可以代替一些监控场景中传统的实时处理图像信号的模块，进而实现更加丰富的功能，和更加优秀的成像效果。

说明书

技术领域

本发明涉及一种边缘数据增强的处理方法，涉及一般的图像数据处理和基于机器深度学习的图像边缘技术，尤其涉及基于神经网络构建的数字图像信息分析处理领域。

背景技术

随着科学技术的有效推进，摄影设备逐渐深入大众生活，大众审美要求的提升，导致对图片品质的追求也相应增加。图像品质的提升主要是通过增强图像边缘效果来实现的。现有技术中，高复杂度的网络算法对设备的要求有较高的约束，对于计算能力弱、内存空间小的深度神经网络部署的兼容性达不到有效的满足。

发明内容

发明目的：一个目的是提出一种基于边缘数据增强模型的高效边缘数据增强方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。

技术方案：一种边缘数据增强模型，包含图像处理、神经网络、硬件存储；所述图像处理用于对图像的规格进行重置，并将其输入神经网络；所述神经网络用于接收经过图像处理的图片，并完成对切分图像的重组；所述硬件存储用于存储图像处理中的图片，以及配合神经网络提取图片时，对其进行访问。

在进一步的实施例中，所述图像处理为对接收到的图像进行预先制定规则的处理。其目的是将图片处理成符合神经网络接收的格式。首先，对硬件存储中的图片进行图片数据的访问；然后，将读取出来的图片经过预定个数的切分得到一定数量的小图像块数；最后，将切分后获得的小图像块传输至神经网络中。

其中对读取到图像的切分方式为按照选定区域部分重叠的方式切分，即对进行切分图像的边界部分按照重叠的方式多切分预定量的像素区域。为保证重叠区域的存在，每个图像块向外部扩充预定值个像素，其中原图的边缘部分进行填零处理。切分过后的图像按照不重叠组合满足如下表达：

其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，C

在进一步的实施例中，所述神经网络进一步为神经网络包含下采样、上采样、像素重组。其中下采样中由卷积层和最大池化层构成，接收经过图像切分后的小图像块，并将其传输至下采样中的卷积层，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出。即其中池化层的量化为当小图像块的三个维度尺寸大小为W

W

H

D

其中上采样由数据上采样、连接层、卷积层构成，对接收到经过卷积的图像利用上采样进行图像特征的进一步提取。其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样中经过卷积计算后的数据，将获得特征图按照在通道上的维度进行拼接，即连接方式为：

Picture

其中，Picture

其中像素重组将在图像处理过程中，对已经经过切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，从而获得增强过后的图像。其中针对合并过程中存在的重叠区域，取两侧图像数据的平均值。

为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。

在进一步的实施例中，所述硬件存储进一步为：硬件存储为神经网络计算提供存储空间，通过扩展片内存储空间，将内存全部缓存在CPU的片内存储系统中，进一步减少神经网络中的计算单元对内存的访问，从而降低读取时的运算时间。

一种基于边缘数据增强模型的高效边缘数据增强方法，包括以下步骤：

步骤一：扩展硬件存储内存；所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储系统中；

步骤二：对输入神经网络的图像进行与设定数值大小的切分；

步骤三：构建神经卷积网络；所述神经网络用于访问硬件存储内存，并接收经过切分后的图片，将其通过像素重组完成图像重组。

在进一步的实施例中，所示步骤一进一步为硬件存储为神经网络计算提供存储空间，通过增加SRAM静态随机存取存储器来扩展片内存储空间，将运行模型框架时所占用的内存全部缓存在CPU的片内存储系统中，进一步减少神经网络中的计算单元对内存的访问，从而降低读取时的运算时间。

在进一步的实施例中，所述步骤二进一步为：将输入神经网络中的图片大小进行规格的预定值重置，配合扩充内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块，然后将切分后获得的小图像块传输至构建的神经网络中。其中图像切分采用重叠切分的方式，在图像进行切分时，对进行切分图像的边界部分按照重叠的方式多切分预定量的像素区域，即在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。切分过后的图像按照不重叠组合满足如下表达：

其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，C

在进一步的实施例中，所述步骤三进一步为：构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样、上采样、像素重组；其中下采样中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出进行数据的上采样。即其中池化层的量化为当小图像块的三个维度尺寸大小为W

W

H

D

其中，上采样由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征。其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样流程中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：

Picture

其中，Picture

其中像素重组将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。

一种基于边缘数据增强模型的高效边缘数据增强系统，具体包括；

用于硬件设计的第一模块；该模块用于扩展硬件存储内存，所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储系统中；

用于处理图像的第二模块；

用于设计网络结构的第三模块。

在进一步的实施例中，所示第一模块进一步为硬件存储模块为神经网络计算提供存储空间，通过增加SRAM静态随机存取存储器来扩展片内存储空间，将运行模型框架时所占用的内存全部缓存在CPU的片内存储系统中，进一步减少神经网络中的计算单元对内存的访问，从而降低读取时的运算时间。

在进一步的实施例中，所述第二模块进一步为将输入神经网络中的图片大小进行规格的预定值重置，配合扩中内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块；其中切分采用重叠切分的方式，在图像进行切分时，在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。

在进一步的实施例中，所述第三模块进一步为构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样模块、上采样模块、像素重组模块；其中下采样模块中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出至上采样模块中。即其中池化层的量化为当小图像块的三个维度尺寸大小为W

W

H

D

其中上采样模块由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征。其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样模块中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：

Picture

其中，Picture

其中像素重组模块将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。

为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。

有益效果：本发明提出了一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及系统，该方法通过对网络模型中卷积网络感受野的减少、图像处理中的重叠切分以及硬件方面对内存扩展三者之间的协同优化，实现了对图像边缘数据的有效增强，在图像超分辨重建、去模糊、去雾化等低等级视觉任务的深度学习算法领域达到在适用于边缘端部署应用的目的。本发明同时也解决了在计算能力弱、内存空间小的边缘端部署深度神经网络的问题，以及发明中涉及的边缘端实时处理图像信号的任务，可以代替一些监控场景中传统的实时处理图像信号的模块，进而实现更加丰富的功能，和更加优秀的成像效果。

附图说明

图1为本发明的方法流程示意图。

图2为本发明网络结构图。

图3为本发明模型推理流程图。

图4为本发明中硬件优化的框图。

具体实施方式

申请人认为，图像品质的提升主要是通过增强图像边缘效果来实现的。现有技术中，高复杂度的网络算法对设备的要求有较高的约束，对于计算能力弱、内存空间小的深度神经网络部署的兼容性达不到有效的满足。

为解决现有技术存在的问题，本发明提出了一种基于边缘数据增强模型的高效边缘数据增强方法及实现该方法的系统。

下面通过实施例，并结合附图对本方案做进一步具体说明。

在本申请中，我们提出一种基于边缘数据增强模型的高效边缘数据增强方法及实现该方法的系统，其中包含的一种基于边缘数据增强模型的高效边缘数据增强方法，具体为包括以下步骤：

步骤一：扩展硬件存储内存；所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储系统中。

步骤二：对输入神经网络的图像进行与设定数值大小的切分。该步骤将输入神经网络中的图片大小进行规格的预定值重置，配合扩中内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块，然后将切分后获得的小图像块传输至构建的神经网络中。其中图像切分采用重叠切分的方式，在图像进行切分时，对进行切分图像的边界部分按照重叠的方式多切分预定量的像素区域，即在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。其中，切分过后的图像按照不重叠组合满足如下表达：

其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，C

步骤三：构建神经卷积网络；所述神经网络用于访问硬件存储内存，并接收经过切分后的图片，将其通过像素重组完成图像重组。构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样、上采样、像素重组；其中下采样中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出进行上采样；即其中池化层的量化为当小图像块的三个维度尺寸大小为W

W

H

D

其中，上采样由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征；其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样流程中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：

Picture

其中，Picture

其中像素重组将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。

为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。

基于上述方法，可以构建一种用于实现上述方法的系统，包括：

用于硬件设计的第一模块；该模块用于扩展硬件存储内存，所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储系统中。

用于处理图像的第二模块，该模块将输入神经网络中的图片大小进行规格的预定值重置，配合扩中内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块；其中切分采用重叠切分的方式，在图像进行切分时，在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。

用于设计网络结构的第三模块，该模块构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样模块、上采样模块、像素重组模块；其中下采样模块中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出至上采样模块中。即其中池化层的量化为当小图像块的三个维度尺寸大小为W

W

H

D

其中，上采样模块由数据上采样模块、连接层模块、卷积层模块构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征；其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样模块中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：

Picture

其中，Picture

其中像素重组模块将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。

为清楚说明本申请预警模型的建立过程，下面采用一具体实施例进行说明，其不得解释为对本发明自身的限制。

从硬件存储盘中读取一张分辨率为1920×1080像素的图像，对其按照宽和高切分成8份，即一共且分为64个240×135像素大小的小图像块。切分过程中重叠部分的切分为在设定的像素大小数值上图像外扩充4个像素，其中对于读取图像的边缘部分则采用填零的方式进行像素的扩充，进而获得64个248×143像素大小的小图像块。将获得的小图像块逐一输入构建好的网络中，进行图像边缘数据的增强得到增强后的64个小图像块。按照图像切分时的排列顺序进行重组，针对上述重叠切分时存在的像素扩充部分采用重叠区域取两侧图像数值的平均值，进而获得最终增强过后的图像。通过实验数据看出，原本直接输入网络时图像所占用的内存为M，通过图像切分和硬件内存扩充后，达到运行时的内存的占用率降低为0.0186M近似于1/64M。

本发明可以应用于图像超分辨率过程中针对边缘性特征的提取，通过对网络模型中卷积网络感受野的减少、图像处理中的重叠切分以及硬件方面对内存扩展三者之间的协同优化，实现了对图像边缘数据的有效增强，在图像超分辨重建、去模糊、去雾化等低等级视觉任务的深度学习算法领域达到在适用于边缘端部署应用的目的。本发明同时也解决了在计算能力弱、内存空间小的边缘端部署深度神经网络的问题，以及发明中涉及的边缘端实时处理图像信号的任务，可以代替一些监控场景中传统的实时处理图像信号的模块，进而实现更加丰富的功能，和更加优秀的成像效果。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。