多尺度融合

摘要： 针对油田作业现场监控视频中的工人安全着装小目标检测效果较差的问题,提出了改进YOLOv5的油田场景规范化着装检测方法Cascade-YOLOv5(C-YOLOv5).首先搭建YOLO-people与YOLO-dress级联的小目标检测网络,定位行人目标,然后裁剪出行人区域并进行尺度变换,最后对行人进行安全着装检测;为了充分融合浅层与深层特征信息,在各级网络中使用4个不同尺度的卷积特征层来预测待检测目标.最后在原始图像中用不同颜色的框标出行人以及行人的着装部件类别,从而判定行人是否着装规范.实验证明,相比原始YOLOv5算法,C-YOLOv5方法不仅满足实时性的要求,而且检测的mAP提升了2.3%.同时,融合了深浅层信息的改进方法有效地增强了特征的表征能力,提高了小目标的检测精度.

摘要： 深度卷积神经网络在医学图像分割领域运用广泛,目前的网络改进普遍是引入多尺度融合结构,增加了模型的复杂度,在提升精度的同时降低了训练效率。针对上述问题,提出一种新型的WU-Net肺结节图像分割方法。该方法对U-Net网络进行改进,在原下采样编码通路引入改进的残余连接模块,同时利用新提出的dep模块改进的信息通路完成特征提取和特征融合。实验利用LUNA16的数据集对WU-Net和其他模型进行训练和验证,在以结节为尺度的实验中,Dice系数和交并比分别能达到96.72%、91.78%;在引入10%的负样本后,F;值达到了92.41%,相比UNet3+提高了1.23%;在以肺实质为尺度的实验中,Dice系数和交并比分别达到了83.33%、66.79%,相比RU-Net分别提升了1.35%、2.53%。相比其他模型,WU-Net模型的分割速度最快,比U-Net提升了39.6%。结果显示,WU-Net提升肺结节分割效果的同时加快了模型的训练速度。

摘要： 现有的深度超分辨率重建模型,用堆叠多个相同模块的方式获取具有更高精度的重建结果,但未能充分考虑各层特征间的上下文关联信息.提出一种基于非局部多尺度融合的图像超分辨率重建模型.该模型采用3种模块:非局部模块、多尺度融合模块和宽激活残差模块.其中,非局部模块用于获取图像的全局特征,关注目标的核心区域;多尺度融合模块用于融合通道特征,增强特征在空间的上下文关联;宽激活残差模块替代普通残差模块,通过扩充激活层前的卷积层输出特征来提升模型的重建精度.在5个基准数据集上的实验结果表明,该模型取得了较高的重建精度.在图像分割与目标检测任务上,与几种深度超分辨率模型相比,该模型也取得了较好的分割和检测精度.

摘要： 实例分割的目的是使用像素级实例掩码对单个对象进行分类和定位,是计算机视觉中一项具有挑战性的任务,目前存在分割速度慢、小物体分割精度低、分割边缘不平滑等问题。针对以上问题,提出了基于目标轮廓的实例分割方法,一方面,对物体轮廓上的结点进行特征提取,在不受检测框影响的同时避免了对目标物体内部像素点进行处理,以达到加快分割速度的效果;另一方面,对图像采取渐进式分割处理,多层次地提取物体轮廓上的特征,并配以多尺度融合的特征处理方法,更好地提取上下文语义信息,减少特征丢失。实验结果表明,本文算法在Cityscapes和KINS数据集中平均分割精度分别达到了32.4%AP和32.0%AP,较目前许多优秀工作的分割精度都有所提升,在物体分割边缘的平滑程度以及贴合程度上均有更佳的处理效果。实验证明,基于目标轮廓的实例分割网络在实例分割任务中有较好的分割能力。

摘要： 针对车载导航导光板表面缺陷像素值分布不均且普遍较小、背景复杂多变等特点,提出了基于改进掩膜区域卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)模型检测车载导航导光板表面缺陷的检测方法。首先,引入PinFPN模块改进原有Mask R-CNN的特征融合网络,充分利用高低语义信息构成各级语义、位置信息兼备的共享特征层,提升整体网络的检测精度;其次,通过引入跳层连接结构和SE(Sequence and Excitation)模块对网络的分割分支进行改进,改善了传统Mask R-CNN网络语义信息获取不充分的问题;最后,通过在自建的车载导航导光板数据集上的一系列实验对比,证明了本方法在检测精度和分割上的优势,在自建数据集上的检测准确率达到了95.3%,满足工业检测的要求。

摘要： 随着人工智能深度学习的快速发展,目标检测在智能视频监控、无人驾驶、交通管制等方面有着广泛的应用,尽管众多国内外的研究者在目标检测领域有一些突破,但是实际问题中目标的形变、遮挡以及光线变化等都是关键,那么如何设计合理的检测器适应不同的场景,提高模型的泛化能力也将是该领域的研究重点。论文具体场景是针对行人检测,因此在YOLOv3单阶段的目标检测基础上提出了一种用RepVGG替换主干网络的检测模型,该模型网络层数单一,并且采用了重参数化技术,而且在多尺度融合中将3个尺度的融合改成4尺度融合,提高模型的鲁棒性,在很好的拟合GPU的情况下,提高检测的精度和速度。

摘要： 传统的电能质量扰动识别在提取分类时都是人工手动单一地选择特征,这种方法普遍存在精度低、成本高、泛化能力弱等缺陷。针对目前深度学习在故障识别分类处理中的应用,文中提出一种基于多尺度融合选择卷积网络实现端到端的电能质量扰动识别分类方法。文中通过仿真实现了单一扰动信号和复合扰动信号,将Multi⁃scale目标检测和轻量级模块SKNet算法思路相结合,利用不同卷积核构造多个尺度下不同的特征,将特征融合选择得到新的主要特征量,并用线性分类器进行快速的扰动识别。研究结果表明,与未改进的深度学习识别方法对比,文中方法在特征提取上具有更强的区分空间、更高的识别率和鲁棒性,整体识别率达到99%,可为电能质量扰动识别研究提供一种新的思路。

摘要： 针对YOLOv4算法在行人检测中精度低,实时性差的问题,提出一种基于YOLOv4的改进算法。首先将MobileNetv2作为主干网络,在减少参数量的同时保证其特征提取能力,同时在MobileNetv2中加入Bottom-up连接,减少浅层信息的丢失;然后在特征融合网络嵌入卷积模块的注意力机制模块(convolutional block attention module,CBAM)注意力机制,增强特征的表现力;最后在分类与回归网络中加入Inception结构,进一步提高检测速度和增加网络复杂度。结果表明:在VOC数据集上,改进算法比原算法检测效果更佳,实时性更好,其精度提高了2.87%,处理速度提升了29.52 FPS;同时在真实场景下构建的数据集上,改进后的算法比YOLOv4精度提高了2.13%,具有较好的鲁棒性。

摘要： 皮肤病灶图像分割可作为医学相关类疾病辅助诊断的重要依据。针对皮肤病灶区域结构复杂和尺度信息参差错落的特点,提出一种基于U型稠密特征融合的皮肤病灶分割方法。编码器利用稠密网络结构和空洞空间金字塔池化充分提取特征与融合,由稠密空间注意力模块与深度可分离卷积解码深层特征,防止病灶区域周围噪声干扰,同时引入融合压缩注意力模块进一步提高分割性能,通过二值交叉熵与Jaccard系数结合的损失函数优化。在ISBI 2016皮肤病灶数据集进行仿真评估,Jaccard相似度和Dice系数分别达到86.87%和92.98%,有助于提高皮肤病灶诊断效率。

摘要： 通过YOLOV3深度神经网络算法可以实现道路交通标志的自动检测与识别,由于YOLOV3运算量较大,很难在小型嵌入式平台上使用,针对这一问题,文中提出了改进型的轻量化YOLOV3-3ctiny神经网络模型。为了融合浅层特征图的空间信息与深层特征图的语义信息,将第19层卷积层通过上采样后与第7层卷积层相连接,多尺度融合后输入YOLO层形成新的特征金字塔,以此提高小目标的识别率。同时,为使网络更加关注交通标志的细节信息,在特征金字塔网络中增添能够增强前景信息降低背景信息的空间通道注意力机制。使用Kmeans聚类算法对数据集作聚类处理,获得一组先验框。在长沙理工大学交通标志数据集上进行测试,实验结果表明,改进后算法的识别率达到91.8%,与YOLOV3-tiny算法相比提高了24.9个百分点,而与YOLOV3算法相比,每张图片的检测时间降低至0.133s,降低了49.6%,该算法具有较强的实时性和准确性。

摘要： 提出了一种针对多时相SAR图像变化检测的基于小波变换的多尺度融合检测方法,首先对多时相SAR图像取对数比得到变化比图像,然后对变化比图像进行多尺度小拨变换和低频重构,并对每个尺度的重构图像做自适应闻值变化检测,计算出每个像素的最优分解尺度,最后基于最优尺度完成像素的融合检测,利用像素的最优分解尺度融合多尺度的检测结果性提高变化区域边界像素检测的准确性,通过仿真SAR图像和真实SAR图像的检测实验证明了该方法的有效性.

摘要： 针对声纳图像视野窄,无法一次性反映大体积目标或同时呈现若干目标完整视觉信息的问题,提出一种声纳图像拼接算法.该算法主要步骤分为:声纳图像配准和声纳图像融合.根据声纳图像高噪声和低分辨率的特点,采用FFT图像配准方法配准声纳图像.对于准确配准后的声纳图像,提出一种基于NSCT多尺度分解的声纳图像融合算法.首先,对源图像进行NSCT多尺度分解,得到一系列不同尺度和不同方向上子带分解系数;然后,根据声纳图像特殊性,构建声纳图像融合规则:分别对低频子带采用门限判别法,高频子带计算局部区域对比度指导融合规则,产生融合图像在相应尺度和方向的融合系数.最后,对融合系数进行NSCT多尺度逆变换,生成融合后的拼接图像.通过声纳图像拼接实验验证提出方法有效性.

摘要： 本发明针对较大空间分辨率蒸散数据(ET)提供一种易于实现的空间降尺度方法。蒸散量本身为植被的蒸腾作用和裸土地等的直接蒸发作用，其中植被对应蒸散意义重大。本发明首先对较大空间分辨率的蒸散栅格数据分离出其中植被作用贡献的蒸散量和非植被作用贡献的蒸散量，进而借助于具有相对较小空间分辨率的植被覆盖度数据作为权重，对植被作用的ET量和非植被作用的ET实现再分配。其中，在植被作用ET分量，本发明实现了关键步骤，即是把无植被覆盖小栅格的植被作用ET分量再分配到有植被覆盖的小栅格单元中去；在处理非植被作用ET分量的再分配时，本发明实现了把非植被作用ET分量依据植被覆盖度权重再分配到对应小栅格单元中去，并对总量进行了调整和控制，从而完成了ET的降尺度处理。

摘要： 本发明涉及数字图像处理技术领域，公开了一种基于多尺度基本形式的相似尺度图像融合方法，包括：对全色图像进行离散小波变换，得到与多光谱图像具有相似尺度的全色图像的低频信息以及高频信息；基于多尺度基本形式将该全色图像的低频信息与多光谱图像进行融合，得到待融合结果的低频信息，并将该待融合结果的低频信息与该全色图像的高频信息进行结合，得到待融合结果；以及利用逆小波变换对该待融合结果进行重建。利用本发明，使融合的信息在尺度空间具有一致性，大大提高了高分率全色图像和低分辨率多光谱图像的融合效果。

摘要： 本发明公开了一种基于多尺度特征融合的去雾方法，包括以下步骤：基于U型网络的架构和重投影技术设计多尺度特征融合的去雾网络，多尺度特征融合的去雾网络包括具备多尺度特征融合模块(DFF)的编码器GEnc及解码器GDec，和由残差块构成的特征复原模块GRes。编码器GEnc及解码器GDec中每个尺度下经过DFF模块融合后的图像特征都会直接连接到后续所有尺度中的DFF模块作为输入，以实现不同尺度特征的融合，并利用融合后的特征进行图像去雾操作。

摘要： 本发明公开了一种基于多尺度特征融合的小尺度行人检测方法。首先将输入图像通过主干网络进行下采样，然后针对小尺度目标使用多尺度特征融合增强模块(MFFE)提取行人特征，最后送入检测器获得分类结果。其中多尺度特征融合增强模块包含两个部分，感受野增强模块和自适应空间特征融合模块。本发明的核心多尺度特征融合增强模块关注不同层级行人特征的提取与融合，加强对不同尺度特征图的利用，可以嵌入应用于不同行人检测网络，具有可迁移性和可扩展性，提高了网络对小尺度行人的检测能力，对提升行人检测效果具有明显帮助。

摘要： 本发明针对较大空间分辨率蒸散数据(ET)提供一种易于实现的空间降尺度方法。蒸散量本身为植被的蒸腾作用和裸土地等的直接蒸发作用，其中植被对应蒸散意义重大。本发明首先对较大空间分辨率的蒸散栅格数据分离出其中植被作用贡献的蒸散量和非植被作用贡献的蒸散量，进而借助于具有相对较小空间分辨率的植被覆盖度数据作为权重，对植被作用的ET量和非植被作用的ET实现再分配。其中，在植被作用ET分量，本发明实现了关键步骤，即是把无植被覆盖小栅格的植被作用ET分量再分配到有植被覆盖的小栅格单元中去；在处理非植被作用ET分量的再分配时，本发明实现了把非植被作用ET分量依据植被覆盖度权重再分配到对应小栅格单元中去，并对总量进行了调整和控制，从而完成了ET的降尺度处理。

摘要： 本发明涉及一种融合模块和多尺度特征融合卷积神经网络及图像识别方法，包括上一层、融合层以及级联层，所述上一层将输入图片通过所述融合层运算，再将运算完成的结果通过所述级联层进行合并输出，所述融合层由在原始模块中加入瓶颈结构和空洞卷积结构共同组合而成。本发明不但错误率低，而且有效减少网络的参数量，有利于提升模型泛化能力。

摘要： 本发明公开了一种基于多尺度空谱变换的高光谱与多光谱图像融合方法，其中，上述方法包括：使用双分支网络结构在融合前先进行跨分支融合以加强双分支网络提取特征之间的相关性；采用基于空间域划分的多头自注意力提取光谱特征，能有效获取光谱的全局特征；采用多尺度补丁提取空间特征以更好地挖掘多光谱中丰富的空间特征，再融合光谱特征和空间特征并进行图像重建，获得高分辨率高光谱图像。与现有技术相比，充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。

摘要： 本发明属于深度学习技术在计算机视觉领域，提供了一种多尺度跨媒体信息融合方法。本发明首先构建了特征提取网络，然后使用了简单融合模块获取最初多模态信息和上下文信息，再通过动态卷积模块实现对于输入图像特征的多尺度、不同感受野下的信息的提取，最后通过全局注意模块将全局上下文信息作为低层特征的指导，有效适应不同尺度下的特征映射，得到最终分割结果。本发明实现了端到端的跨媒体信息深度融合，模型复杂度低，可以充分有效地利用图像信息和自然语言信息来进行图像分割。

摘要： 本发明涉及深度学习技术，揭露了一种基于多尺度特征融合与注意力机制的唇纹图像分类算法，属于生物特征识别中的唇纹识别领域。该发明首先建立包含唇纹图像数据集，通过搭建的采集装置进行图像采集。分别设计了多尺度特征融合模块和注意力机制模块。然后使用Pytorch框架以轻量型MobileNetV2为基础网络搭建神经网络模型，将训练集和验证集数据输入加入注意力机制和多尺度特征融合模块的网络中进行训练，并保存训练后的识别模型，最后使用该模型实现对唇纹图像的分类识别。本发明中的算法解决了传统人工设计特征提取算法复杂繁琐和分类识别精度较低的问题，提高了唇纹识别网络的性能，对其在身份识别和验证领域的推广和应用提供了技术参考。

摘要： 本发明提供一种基于显著图引导的分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数的方法。该方法联合使用线性光谱聚类超像素方法和多尺度区域分组方法处理得到的特征表示图，避免有用信息的丢失，然后搭建一个三分支的分层密集特征融合网络进行前景特征、背景特征的提取和融合，用于提取乳腺病变超声图像多尺度融合特征参数。前景和背景两个进行性密集特征提取分支网络以原始图像和相应的显著图共同作为输入，分别用来有效地提取与该分类任务相关的前景和背景特征。根据前景和背景之间已知的相关性和补充性信息，分层特征融合分支网络将上述前景和背景信息进行多尺度的融合，获得更加准确，更加显著的多尺度融合特征参数。