一种增强现实视觉的图像立体重建方法及装置

摘要

本发明提供一种增强现实视觉的图像立体重建方法，包括获取原始图像；根据预设的边缘检测技术，对原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；采用预设的仿射变换矩阵，对轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；将原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。实施本发明，能基于图像三维仿射变换的空间模型生成技术实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种增强现实视觉的图像立体重建方法及装置。

背景技术

近年来，虚拟现实与增强现实从技术走向了广泛的商用之路。随着计算机视觉技术的发展，计算机图形学与图像数字信号处理有效的结合，创造出了很多空间成像特效与实时可交互的虚拟仿真应用，真正的应用到了游戏、娱乐、传媒广告等生产生活的各个领域。尤其在移动终端的增强现实呈现方面，基于三维模型的增强现实技术不仅能够促进工业产品仿真、培训教学、娱乐短视频、市场营销等行业内应用，而且通过结合图像特征分析与分割技术，实现了实时的基于多角度图像的三维模型重建、空间全景虚拟场景构建、激光红外级卫星遥感的地形重建等等。增强现实技术能够通过将虚拟模型与真实世界巧妙的融合，通过广泛应用多媒体、移动终端、三维建模、实时跟踪与智能交互等技术手段，实现了真实世界的空间视觉增强。

现有技术中，利用二维图像的关键区域来构建虚拟的仿真立体效果成为了增强现实领域所关注的领域，并加之结合人工智能神经网络的技术，对于图像局部特征的提取与分析，能够更加快速的提高用户对立体视觉的自然交互体验及多终端轻量化的增强现实技术实现。

但是，现有的增强现实视觉的图像立体重建方法中所采用的虚拟三维视觉交互场景局限、三维重建等技术复杂，且多终端移动应用技术成本高，需要辅助摄像头的加入，导致立体视觉图像重建成本高、鲁棒性不高及效率低等问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种增强现实视觉的图像立体重建方法及装置，能基于图像三维仿射变换的空间模型生成技术实现交互式图像立体视觉虚拟仿真生成，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。

为了解决上述技术问题，本发明实施例提供了一种增强现实视觉的图像立体重建方法，所述方法包括以下步骤：

S1、获取原始图像；

S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；

S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；

S4、将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。

其中，所述步骤S2具体包括：

在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；

采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理；

基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。

其中，在每一分割区域图像边缘轮廓进行平滑羽化处理之前，还包括以下步骤：

基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理。

其中，所述在所述原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像的步骤，具体包括：

加载所述原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点；其中，矩形区域为需要分割的关键区域；

使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。

其中，在所述步骤S2和所述步骤S3之间，还进一步包括以下步骤：

对所述轮廊图进行图像矫正。

其中，所述对所述轮廊图进行图像矫正的具体步骤包括：

对所述轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；

将所述频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线；

根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将所述轮廊图进行仿射变换，得到图像矫正后的轮廊图。

其中，所述步骤S4具体包括：

将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；

获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；

将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。

本发明实施例还提供了一种增强现实视觉的图像立体重建装置，包括：

原始图像获取单元，用于获取原始图像；

图像边缘检测及分割单元，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；

三维模型构建单元，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；

立体视觉图像形成单元，用于将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。

其中，还包括：图像形态处理及矫正单元；其中，

所述图像形态处理及矫正单元，用于对所述轮廊图分别执行一次形态学腐蚀和膨胀处理之后，进行图像矫正。

其中，所述立体视觉图像形成单元包括：

掩膜生成模块，用于将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；

新背景图像生成模块，用于获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；

图像立体叠加生成模块，用于将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。

实施本发明实施例，具有如下有益效果：

本发明通过图像中轮廓特征区域的局部化限定，并结合边缘检测技术的图像分割、自适应图像矫正以及仿射变换矩阵，用以基于图像三维仿射变换的空间模型生成技术，以此作为二维图像的立体视觉处理样本来实现图像关键区域立体构建的增强现实仿真结果，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种增强现实视觉的图像立体重建方法的流程图；

图2为本发明实施例中提供的一种增强现实视觉的图像立体重建方法的应用场景图；

图3为本发明实施例提供的一种增强现实视觉的图像立体重建装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提供的一种增强现实视觉的图像立体重建方法，所述方法包括以下步骤：

步骤S1、获取原始图像；

具体过程为，首先输入一张原始图像为待处理图像，考虑到不同分割样本图像的前景背景复杂度差异大，颜色与光影属性可能存在深度与方向上的变化情况。因此，为了能够保留图像重要的结构特征属性，通过采用图像边缘检测技术用于目标物体分割。

步骤S2、根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；

具体过程为，第一步、在原始图像上，确定关键区域及每一关键区域上的特征点，并对每一关键区域上的特征点进行提取，且进一步结合图像边缘光影颜色特征进行采样，得到对应于每一关键区域的分割区域图像；

例如，图像分割分为两个步骤，首先加载原始图像，通过鼠标点击确定初始位置，并通过松开鼠标确定最终位置，形成矩形的两个对角点为特征点，使得每一个矩形区域均为需要分割的关键区域；然后，使用预设的图像边缘光影颜色特征算法，对每一矩形区域进行处理，得到对应于每一关键区域的分割区域图像。

应当说明的是，图像边缘光影颜色特征算法中，把图像像素分为{B,F,PF,PB}.其中，B表示确定的背景像素点，F代表确定的前景点，PF、PB分别代表可能的前景点和后景点。在使用文中图像边缘光影颜色特征算法过程中，用户需要先通过矩形框选择要分割的区域，区域外的为确定的背景像素点，矩形可能为前景点，也可能为背景的像素点，需要对于矩形区域的图像进行操作，对于分割效果不好的区域使用交互系统标记，然后再次分割，直到达到理想的效果。

第二步、采用预设的均值滤波算法，对每一分割区域图像边缘轮廓进行平滑羽化处理。

应当说明的是，由于图像边缘可能存在有限场景深度带来的聚焦模糊，边缘邻域的光影反射等影像因素。通过利用利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理，并相应的扩展边缘的过渡区域。

应当说明的是，在每一分割区域图像边缘轮廓进行平滑羽化处理之前(即在第一步和第二步之间)，还包括以下步骤：基于预设的图像模板匹配算法，对每一分割区域图像均进行局部限定并进行二值化处理，这样为了能够实现图像局部特征区域的交互式分割。同时，针对不同样本前景和背景的差异化特征，采用基于边缘区域采样的自适应化阈值设定，用于满足图像立体视觉仿真的通用性。

第三步、基于预设的Hough变换技术，将平滑羽化处理后的每一分割区域图像的边缘连接起来，得到连续平滑边缘的轮廊图。

应当说明的是，采用Hough变换，Hough变换是一种利用图像的全局特征将特定形状的边缘连接起来，形成连续平滑边缘的一种方法。它通过将源图像上的点映射到用于累加的参数空间，实现对已知解析式曲线的识别。图像上任意直线区域都可以一一对应参数空间中的一个点，而图像上的任意像素都同时存在于很多直线区域之上，当图像上的某个直线区域包含的特定像素足够多时，就可以认为这个直线区域表示的直线存在。在计算机视觉以及图像处理中梯度方向直方图(HOG)是一种基于形状边缘特征，能对物体进行检测的描述算子，基本思想是利用梯度信息能很好的反映图像目标的边缘信息并且通过局部梯度的大小将图像局部的外观和形状特征化。

步骤S3、采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；

具体过程为，在轮廊图进行仿射变换计算得到目标图像之前，还可以对执行一次形态学腐蚀和膨胀，使图像细节更清晰，然后再对形态学腐蚀和膨胀处理之后的轮廊图进行图像矫正。

上述图像矫正的作用是可以将算法可以更广泛的应用于各类图像，将有些发生偏移畸变的图像，进行矫正，使产生的效果，更加真实。

其中，轮廊图进行图像矫正的步骤具体如下：

(1)对轮廊图进行灰度化处理，并将灰度化处理后的轮廊图拉伸至预置尺寸，且进一步对拉伸后的轮廊图执行傅里叶变换，得到频域图像；

应当说明的是，将图像延展到合适的尺寸，可以提高运行速度。同时，傅里叶变换的使用是将图像从空间域转换到频域。在频域里面，对于一幅图像，高频部分代表了图像的细节、纹理信息；低频部分代表了图像的轮廓信息。用来将函数分解的工具二维图像的傅里叶变换如下式表示：

式中，f是空间域(Spatial domain)值，F是频域(Frequency domain)值，e

。转换之后的频域值是复数。

因此，显示傅里叶变换之后的结果，需要使用实数图像加虚数图像，或者幅度图像加相位图像的形式。

(2)将频域图像进行二值化处理，并进一步对二值化后的频域图像进行霍夫直线变换，得到相应的直线。

(3)根据所得到的相应直线，计算得到偏移角度，并进一步基于所述偏移角度对图像，将轮廊图进行仿射变换，得到图像矫正后的轮廊图。

在轮廊图进行仿射变换计算时，仿射变换的目的为通过选择的点的变换，进而使图像上的点都按相同的偏移方式进行变换。仿射变换代表的是两幅图之间的一种映射。

例如，通常使用2x3的矩阵来表示仿射变换。

使用矩阵A和B对二维向量

仿射变换基本标识的是两幅图片之间的联系，这种联系可以通过已知M和X。应用算式T＝M·X得到T。对于这种联系的信息可以用矩阵M来表示(即给出明确的2x3矩阵)或者也可以用两幅图片点之间的几何关系来表示。因为矩阵M联系着两幅图片，以其表示两图中各三点直接的联系，能通过这样两组点求出仿射变换(可以任选点)，然后就能把仿射变换应用到图像中所有点。

在一个实施例中，在初始输入的图像中选取2组点，首先在物体的底部选取两个点，然后在物体的顶部选取一个点，这是第一组点；然后，再选取一个点作为仿射变换后形成阴影顶部的点所在位置，并与首次物体底部两个点作为第二组点；将第一组点和第二组点作为参数，得到变换的矩阵，然后通过这个矩阵应用到得到的二值图像上，得到立体成像的目标图像，且进一步利用目标图像进行三维模型构建，得到立体模型，这样就可以将仿射变换得到的立体模型的底部与原物体底部位置基本不会发生变化。

步骤S4、将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。

具体过程为，首先，将目标图像转换为灰度图，并对灰度图进行二值化处理，所得的二值化处理后的灰度图设为掩膜，且进一步对掩膜进行非运算，所得的运算结果设为反向掩膜；其次，获取立体模型的背景图像，并将背景图像和反向掩膜进行与运算，所得的运算结果设为新背景图像；最后，将所得到的新背景图像与立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。

如图2所示，为本发明实施例中提供的一种增强现实视觉的图像立体重建方法的应用场景图。在图2中，引用图像局部特征轮廓区域进行立体视觉生成，实时的多目标模板匹配的图像采集及特征矫正，采用可交互式最近区域的仿真阴影生成以及采用二值化滤波技术对局部边缘区域采样进行颜色空间融合，并结合图像矫正与仿射变换进行感兴趣区域图像的三维构建，能够在图像区域生成三维模型的增强现实仿真效果。

如图3所示，为本发明实施例中，提供的一种增强现实视觉的图像立体重建装置，包括：

原始图像获取单元110，用于获取原始图像；

图像边缘检测及分割单元120，用于根据预设的边缘检测技术，对所述原始图像进行图像分割，并结合预设的图像边缘拼接技术，得到轮廊图；

三维模型构建单元130，用于采用预设的仿射变换矩阵，对所述轮廊图计算，得到立体成像的目标图像，并利用所得到的目标图像进行三维建模，得到立体模型；

立体视觉图像形成单元140，用于将所述原始图像及其得到的立体模型进行融合，并结合所述目标图像，得到立体视觉图像。

其中，还包括：图像形态处理及矫正单元；其中，

所述图像形态处理及矫正单元，用于对所述轮廊图分别执行一次形态学腐蚀和膨胀处理之后，进行图像矫正。

其中，所述立体视觉图像形成单元140包括：

掩膜生成模块，用于将所述目标图像转换为灰度图，并对所述灰度图进行二值化处理，所得的二值化处理后的灰度图设为所述掩膜，且进一步对所述掩膜进行非运算，所得的运算结果设为所述反向掩膜；

新背景图像生成模块，用于获取所述立体模型的背景图像，并将所述背景图像和所述反向掩膜进行与运算，所得的运算结果设为新背景图像；

图像立体叠加生成模块，用于将所得到的新背景图像与所述立体模型进行与运算之后，再与所述原始图像叠加生成所述立体视觉图像。

实施本发明实施例，具有如下有益效果：

本发明通过图像中轮廓特征区域的局部化限定，并结合边缘检测技术的图像分割、自适应图像矫正以及仿射变换矩阵，用以基于图像三维仿射变换的空间模型生成技术，以此作为二维图像的立体视觉处理样本来实现图像关键区域立体构建的增强现实仿真结果，从而克服现有立体视觉图像重建成本高、鲁棒性不高及效率低等问题。

值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。