视差图

摘要： 研究将深度学习立体匹配模型HSM模型应用于卫星影像密集匹配。尽管HSM模型运行速度极快,但输出的视差图分辨率较低,细小地物的轮廓不清晰。通过在HSM模型的特征提取模块增加一个分辨率更高的特征提取层,相应地在代价体正则化金字塔中增加一个分辨率更高的解码器,此外,在特征提取阶段应用了更多的空间金字塔池化层以捕获更广泛的全局上下文信息,构建了HSM-deep模型。实验结果表明,HSM-deep模型的各项精度指标优于其他测试的模型。相比于HSM模型,HSM-deep模型的1PE精度提升明显,能够输出更高分辨率的视差图、更准确地恢复细小结构。

摘要： 为了改善机器人、无人驾驶领域采用深度神经网络实现双目视觉立体匹配存在参数量大、GPU资源成本高的问题,提出一种多尺度聚合的立体匹配方法。首先设计了一个结合多尺度的特征提取网络,利用空洞卷积在不改变分辨率下获得更为丰富的特征,引入注意力机制,再将不同分辨率下特征交叉融合以完善特征信息;其次,改变代价卷获取方式,在低尺度下聚合得到代价卷,不断结合高尺度相似信息以迭代更新,将多个代价卷进行交叉融合以得到最终代价卷;最后,结合注意力机制的精细化模块修正初始视差图中的异常值与不连续区域,得到最终视差图。实验结果表明,该算法能够在较低参数量,以及低成本GPU资源下运行,且获得较好的匹配精度。

摘要： 为解决传统立体匹配算法匹配低纹理人脸图像时极易产生误匹配的问题,提出一种基于区域生长的人脸立体匹配算法.该算法利用级联回归树算法提取的人脸特征点将人脸划分为不同区域以分别限制各区域的视差搜索范围,从而避免在全局范围上查找匹配点;同时利用人脸的局部形状特性,采用局部曲面拟合的方式筛除误匹配种子点并生成大量可靠种子点用于区域生长;最后,分别在实验室环境采集的人脸图像和FRGC v2.0人脸数据库上进行定性和定量实验.实验结果表明,与传统算法相比,所提算法能够重建出更加准确的三维人脸模型.经点云配准后与人脸点云真实值的均方根误差在2 mm以内,且不同光照、姿态、表情下人脸图像的重建表明所改进的立体匹配算法具有较好的鲁棒性.

摘要： 根据双目立体视觉模型,搭建一个实验室专用的高度测量系统。首先使用Matlab自带的工具箱对双目相机进行多次标定,获取实验所需的诸多参数,然后通过立体校正技术建立修正后的世界坐标与像素坐标之间的关系方程。在VS2015结合OpenCV的编程环境下,利用立体匹配算法和视差理论获取目标表面的三维空间信息。最后通过选定同一目标的2个特征点获取其空间坐标,达到高度测量的目的。实验结果显示,该系统能够有效实现真实场景下的三维信息测量。

摘要： 针对管件在机器人抓取中的分类识别、位姿估计等问题,对随机摆放管件的模板匹配识别、立体匹配和三维位姿估计进行了研究.通过标定得到左右相机的内外参数,然后进行双目标定、矫正以及手眼标定.优化了模板匹配算法,利用亚像素级精度提取管件的边缘轮廓.选择合适的图像金字塔层数以提高匹配速度,实现多类型管件的分类识别.通过立体匹配提取管件视差图,结合标定参数和双目视觉的三角测距原理实现管件的位姿估计,并进行多组位姿提取实验.设计开发MFC和Halcon联合编程的管件识别与位姿估计系统.实验结果表明:该系统可实现管件在随机摆放情况下的实时准确分类识别与位姿估计,满足工业的实际应用需求.

摘要： 在微创手术中,由于人体组织结构复杂,内部器官纹理模糊,梯度复杂,仅借助2D显示平台会增加手术风险,同时也降低了对计算机辅助算法的性能,因此需要对内窥镜图像进行三维显示,此方法可以使医生观察更具有立体感.本文提出一种基于神经网络的三维显示方法.采用腹腔镜图像作为内窥镜图像,由汉姆林中心腹腔镜/内窥镜视频数据集(http://hamlyn.doc.ic.ac.uk/vision/)提供的真实腹腔镜图像,数据集总共包含32400对双目内窥镜图像,其中本文仅采用左目图像作为训练数据集,图片的尺寸为384×192.首先将内窥镜图像传人神经网络模型求取深度信息;有效视差图和左目图像经过三维空间点运算得出右目图;对初始右目图像进行空洞填充优化;分离原图的红色分量与视差结合,再与原图蓝绿分量融合得到三维图像,只要佩戴红蓝眼镜即可观察内窥镜图像三维显示结果.

摘要： 根据双目立体视觉模型,搭建一个实验室专用的高度测量系统.首先使用Matlab自带的工具箱对双目相机进行多次标定,获取实验所需的诸多参数,然后通过立体校正技术建立修正后的世界坐标与像素坐标之间的关系方程.在VS2015结合OpenCV的编程环境下,利用立体匹配算法和视差理论获取目标表面的三维空间信息.最后通过选定同一目标的2个特征点获取其空间坐标,达到高度测量的目的.实验结果显示,该系统能够有效实现真实场景下的三维信息测量.

摘要： 提出了一种基于测量视差图的图切(graph-cut,GC)无人机立体图像匹配算法,利用数字表面模型方法进行地面目标高度测量.并将全局和局部立体匹配算法的结果等与其他算法进行了比较.所提出的解决方案引入并集成了排序约束以及用于GC算法的子模块能量最小化函数以增强性能.针对多个目标(以输电塔为例)的不同剪裁图像,并针对地面真实数据测量了所有参数的灵敏度和召回率.结果表明,与现有方法相比,所提出的模型表现更准确.

摘要： 为实现焊缝尺寸在线测量,提出一种基于双目视觉的管道全位置焊缝三维测量方法.先采用平面模板法对所设计的双目系统进行标定,然后采集焊缝图像并进行极线校正.通过构建与像素点灰度值、灰度值梯度以及邻域的平滑性相关的能量代价函数进行立体匹配,获得连续平滑的焊缝视差图,结合三角测量法计算三维坐标重构出焊缝点云.定义了焊缝宽度、余高计算方法,针对管道全位置焊缝,将其分为8个区间,分别重构点云并提取特征点坐标,三维测量各区间焊缝余高和宽度,然后结合贪婪算法重构出的焊缝三维模型进行分析.研究结果表明,管道全位置焊缝三维测量方法的测量误差在0.2 mm以内,且测得平焊缝余高较小,立焊缝宽度较窄,而仰焊缝焊道较凸,余高较大,能实现焊缝尺寸的在线测量.研究结果可为管道焊缝的全位置测量提供一定的指导.

摘要： 为了解决现阶段大多数深度学习的立体匹配算法无法优化视差图的边缘结构问题,提出一种多尺度引导聚合立体匹配网络并改进了损失函数.对输入特征进行4种不同尺度的空间金字塔特征提取以形成四维代价空间,然后采用半全局代价聚合层(semi-global aggregation layer,SGA)与局部引导聚合层(local guided aggre-gation layer,LGA)优化代价聚合步骤以生成高精度视差图;为了提高收敛速度并获取更好的初始参数,在微调时引入了L2损失函数.试验结果显示,在KITTI 2012数据集以3像素为阈值的端点误差评估中取得98.31％的准确率,在KITTI 2015整体评估中取得了97.95％ 的准确率,从而有效地提高了整体的视差精度.研究结果可为双目测距在智创交通中的应用提供一定的参考.

摘要： 本文提出了一种基于边缘检测和区域增长的新型立体匹配算法.采用基于边缘检测和局部窗口的鲁棒性双层匹配算法确定种子点,以最小能量误差准则进行区域增长.经实验证明,本算法可以获得较精准的视差图.

摘要： 在对传统自适应支持权重匹配算法的研究基础上,提出一种改选的基于多因素的自适应支持权重匹配算法。首先通过大量的实验结果分析出能影响视差图效果的三个因素:颜色模型、底数因子和颜色分量的加权因子.针对每个因素,进行合理的分析和应用,并基于此对传统的自适应支持权重匹配算法进行优化.通过对标准测试图像进行处理,实验结果表明,与原有匹配算法相比,该算法可以得到更平滑和准确的视差图。

摘要： 为了提高自由立体显示中立体图像合成速度，利用图形显示卡中GPU（Graphic Processing Unit）并行处理数据的特点，提出了一种快速合成自由立体显示图像的方法。该方法首先计算出各个视差图像在光栅式自由立体显示器上的排列规律，并生成相应的掩膜图，然后充分利用GPU的快速图形处理能力，分别用相应的掩膜图对每幅视差图像进行调制，最后将调制后的所有视差图像进行混色运算，就得到多视点自由立体显示图像。相对于通常利用计算机的CPU(Central Processing Unit)合成立体图像的方法，该方法运算速度快，使用灵活，能够满足实时合成自由立体显示图像的需求。在自由立体显示系统中应用该方法获得了良好的立体效果。

摘要： 本文利用全局约束条件--唯一性和阶数约束,对不同区域采用不同的约束条件和强度来获得高可靠性点的视差,并且引入左右视线的概念,用于解决复杂场景情况下的左右视图的匹配问题.同时采用改进的协同CA(cooperative algorithm)算法,在视差梯度的约束下,对高可靠性点的视差进行逐步地扩散,最终得到致密的视差图.实验仿真表明,该方法可以最大可能地避免一般区域匹配带来的影响而产生较精确的视差图。

摘要： 为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法.通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束.实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果.在图片无纹理区域可降低14％的错误率.

摘要： 为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法.通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束.实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果.在图片无纹理区域可降低14％的错误率.

摘要： 为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法.通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束.实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果.在图片无纹理区域可降低14％的错误率.

摘要： 为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法.通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束.实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果.在图片无纹理区域可降低14％的错误率.

摘要： 为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法.通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束.实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果.在图片无纹理区域可降低14％的错误率.

摘要： 为解决立体匹配中边界模糊、无纹理区域的边界误匹配、初始匹配代价过于粗糙等问题,设计了一种基于改进数据项的图像边界信息强化算法.通过归一化匹配代价削弱匹配不利的像素点;通过设置权值强化边界信息,对边界进行匹配约束.实验证明,新的能量函数能在边界区域得到正确视差;消除了大量无纹理区域的不连续线段;以较少的迭代次数提高了优化效果.在图片无纹理区域可降低14％的错误率.

摘要： 公开了一种基于视差图的视差方向上连续型物体检测方法和装置，该检测方法包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。根据本发明实施例的方法提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检。

摘要： 一种深度图/视差图的后处理方法和装置，在进行不整齐边缘区域检测时，采用边缘信息与分块信息相结合的思路。对彩色图像进行图像分块时，先对彩色图像进行超像素分割；将灰度范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块的方法对当前超像素进行进一步分割。在保证图像处理速度的同时，提高彩色图像分割的准确性，从而提高不整齐边缘区域检测的准确性。

摘要： 本发明公开一种单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的视频，包括以下步骤：将输入的2D视频利用梯度法求解图像运动矢量的方法得到图像的深度信息图；利用得到的深度信息图渲染生成N视点的3D视差图，并合成3D视频输出。本发明提供一种方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的片源，利用梯度法求解运动矢量，利用各种运算简单的方法提取准确的深度图，同时运用一路2D的深度图合成多路的多视点视差图解决3D片源短缺的难题，尤其能够解决多视点裸眼立体显示器的3D片源短缺难题，运算复杂度低，运算量小，利于芯片级硬件实现。

摘要： 一种在深度图或视差图的掩蔽域中进行填充的方法，该图基于至少两个图像而估算并且由形成一组行和列的像素的矩阵构成，该图的每个像素与被叫做“像素值”的深度值或者视差值相关联，并且被叫做“无效像素”的掩蔽域的任何像素与可被识别为无效的像素的值相关联。这个方法包括在预定义的方向上逐个像素地遍历(E1、E2、E10)该图的每一行，并且向在当前行中遇到(E3)的每个无效像素Pi分配以下值，所述值按照与属于当前行中的无效像素Pi之后的第一有效像素P1(如果它存在的话)周围的预定义的邻域的像素相关联的值的函数来确定(E4-E9)，并且该第一有效像素P1的值V(P1)关于当前行中的无效像素Pi之前的最后的有效像素P0(如果它存在的话)的值V(P0)而对应于更大的深度或者更小的视差。

摘要： 本申请公开了一种视差图视差求精中插值的方法，包括：以视差图中的错误匹配点为中心，沿N个方向搜索视差有效的像素点；分别计算错误匹配点与各方向搜索到的像素点之间的欧式距离，并利用欧式距离计算对应的欧式距离权重；根据原始图像的像素值以及原始图像的颜色通道，分别计算错误匹配点与各方向搜索到的像素点之间的颜色空间距离，并利用颜色空间距离计算对应的颜色空间距离权重；根据欧式距离权重以及颜色空间距离权重，计算错误匹配点的视差值；该方法能解决传统视差求精中插值算法鲁棒性差、效率低下的问题；本申请公开了一种视差图视差求精中插值的系统，具有上述有益效果。

摘要： 本发明公开了一种基于视差图的视差方向上连续型物体检测方法和装置，该检测方法包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。根据本发明实施例的方法提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检。

摘要： 一种深度图/视差图的后处理方法和装置，在进行不整齐边缘区域检测时，采用边缘信息与分块信息相结合的思路。对彩色图像进行图像分块时，先对彩色图像进行超像素分割；将灰度范围分为预设个区间，对于每个超像素，统计得到所有像素点落在所述区间内的直方图；判断当前超像素中，区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值，如果是，则采用基于颜色分块的方法对当前超像素进行进一步分割。在保证图像处理速度的同时，提高彩色图像分割的准确性，从而提高不整齐边缘区域检测的准确性。

摘要： 本发明公开一种单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的视频，包括以下步骤：将输入的2D视频利用梯度法求解图像运动矢量的方法得到图像的深度信息图；利用得到的深度信息图渲染生成N视点的3D视差图，并合成3D视频输出。本发明提供一种方法，能够将现有的2D视频源转换成可以在3D立体显示设备上播放的片源，利用梯度法求解运动矢量，利用各种运算简单的方法提取准确的深度图，同时运用一路2D的深度图合成多路的多视点视差图解决3D片源短缺的难题，尤其能够解决多视点裸眼立体显示器的3D片源短缺难题，运算复杂度低，运算量小，利于芯片级硬件实现。

摘要： 一种在深度图或视差图的掩蔽域中进行填充的方法，该图基于至少两个图像而估算并且由形成一组行和列的像素的矩阵构成，该图的每个像素与被叫做“像素值”的深度值或者视差值相关联，并且被叫做“无效像素”的掩蔽域的任何像素与可被识别为无效的像素的值相关联。这个方法包括在预定义的方向上逐个像素地遍历(E1、E2、E10)该图的每一行，并且向在当前行中遇到(E3)的每个无效像素Pi分配以下值，所述值按照与属于当前行中的无效像素Pi之后的第一有效像素P1(如果它存在的话)周围的预定义的邻域的像素相关联的值的函数来确定(E4-E9)，并且该第一有效像素P1的值V(P1)关于当前行中的无效像素Pi之前的最后的有效像素P0(如果它存在的话)的值V(P0)而对应于更大的深度或者更小的视差。

摘要： 一种视差图像生成设备包括：有效像素确定单元，其用于基于在捕获图像中的每个像素的特征值来确定有效像素；以及有效化单元，其用于使得与捕获图像对应的视差图像中的、与有效像素对应的有效视差附近的非有效视差的视差有效化。