语义分割

摘要： 钢包底吹氩过程中钢液表面裸露区域(即氩花)的面积可以间接反映吹入钢包中的氩气量。为了准确识别出钢水表面图像中的氩花区域,本文提出一种基于改进DeepLabv3网络的图像语义分割方法。该方法以DeepLabv3网络为基础,采用MobileNetV2作为主干特征提取网络,以降低网络的参数量和计算量;同时将原来的交叉熵损失函数替换成Focal Loss损失函数,以解决正/负样本不平衡和难/易分类样本不平衡的问题;最后在网络结构中添加通道注意力机制来提高语义分割精度。以生产现场采集的图像数据为对象进行实验,结果表明,与原始DeepLabv3相比,本文网络模型的参数量和计算量降低了约92.3%,平均交并比提升了0.82个百分点,达到92.4%,帧率提高了23.40%。

摘要： 胎肺发育不良常会令胎儿在出生时引发严重的呼吸窘迫,甚至造成新生儿死亡.胎肺容积测量是临床上无创评估肺成熟度的一项重要手段,但现有的胎肺容积测量方法误差大、过程繁琐、耗时长且临床实用性差.本研究基于3D-nnUnet提出一种高效稳定的胎肺自动分割和测量方法,利用网络对胎肺数据的自适应,有效克服图像组织对比度低和边缘模糊问题,实现了三维超声胎肺的精确分割.针对胎肺超声图像在不同孕周差异大,以及样本数分布极不均衡的问题,提出利用困难样本聚焦和简单样本惩罚(hardmining and easy-penalized,HMEP)损失来提升模型的泛化能力和稳定性.与二维最优分割网络DeepLab V3+和3D-Unet分割结果相比,基于3D-nnUnet的分割网络性能最佳,分割准确率高达85.7%;HMEP损失能够使3D-nnUnet模型专注地学习少数困难样本,将分割准确率提升近2%;分割模型在不同孕周的数据上所测得胎肺容积和医生手动勾画的胎肺容积经一致性检验无显著的统计学差异.实验结果表明,该方法可高效实现三维超声胎肺的自动精确分割和容积测量,具有良好的稳定性和泛化能力,可避免以往胎肺容积测量方法繁琐耗时、误差较大的问题,在诊断胎肺发育状况及评估肺成熟度方面有较好的应用前景.

摘要： 针对高分辨率遥感影像复杂地物分类的问题,提出了人工特征工程与深度神经网络相结合的地物分类方法。通过纹理与结构等人工设计特征提取构建多尺度特征图,采用特征图和原始图像合并构建的高维图集合作为网络输入,最大程度地丰富了输入信息量,同时增强了纹理、尺度等有利特征在网络训练过程中的主导作用。根据全卷积网络端到端的像素级分类思想,借鉴并改进DeepLab v3网络的结构设计,实现了一站式的遥感地物分类。实验结果表明,相对于采用原始图像直接作为网络输入,多尺度特征图与原始图结合的方法可以有效地凸显地物中纹理与结构的描述能力,较好地提升地物分类准确度;同时相对于传统神经网络进行图片分类的方法,设计的基于多尺度特征图集合的方法在遥感地物分类任务中具有更好的抗干扰性与准确性。

摘要： 语义分割任务是对图像进行像素级别的分类预测,其难点在于对像素级别的准确预测和物体的边缘划分.现有方法大多采用基于编解码结构的网络模型,通过下采样快速扩充网络的感受野,但连续的下采样对特征图的空间信息造成了不可逆转的损失,为此,提出一种基于语义重定位的并行网络.设计了一条全局空间路径,在保持高分辨率的情况下提取丰富的空间信息并缓解多次下采样带来的信息丢失.在另一条上下文信息提取路径中,采用一个特征提取器,通过快速下采样扩充网络的感受野.此外,设计基于物体类别的语义重定位模块弥补多次下采样造成的上下文信息缺失,使用粗分割结果中该类目标区域的所有像素分别对目标区域中的每个像素进行引导.同时,采用Dice loss缓解数据中存在的正负样本不平衡问题,以获得更好的分割性能.最后,在Cityscapes和CamVid数据集上对所提网络进行了评价.实验结果表明,与已有分割网络相比,在CamVid数据集上,SRPNet在mIoU指标上能提升3.1%,在Cityscapes数据集上,SRPNet在mIoU指标上能提升1.8%.

摘要： 由于非结构化道路特征众多、结构复杂的特点,图像分割以及道路模型等经典算法无法满足非结构化道路识别在实际应用中的准确性和实时性要求.上述难点可通过基于深度学习的语义分割算法有效解决,采用轻量化的特征提取网络,改善特征提取网络中离散计算过多问题,优化对参数量和速度的控制,减少DeepLabv3+网络的冗余;针对非结构化道路在图像中空间和通道的分布特性,引入注意力机制对高级特征图和低级特征图处理,以提升网络对特征提取的敏感性和准确性;选用样本类别充足并具代表性且与我国路况相似性强的IDD(India Driving Dataset)非结构化道路数据集,对其中非结构化道路类别进行筛选和预处理并对网络进行训练.实验对比表明,相比于同类网络,参数量最少,准确率和快速性均处于前列;相比于改进前,网络参数量减少93.1%,识别帧率提升116.1%,精确率提高10.1%.

摘要： 语义分割作完成像素级的分类任务,上下文信息对分割的性能有重要的影响。为了获取更丰富的上下文信息,采用ResNet作为主干网络,设计了一个基于多维度注意模块(Multidimensional attention,MDA)和多尺度上采样模块(Multiscale upsampling,MSU)的编码器-解码器结构。多维度注意力模块计算三个维度的注意力矩阵,以获取每个位置的依赖性,同时注意力机制能自适应地捕捉图像特征。多尺度上采样模块采用并行分支来捕获图像的多尺度特征,多尺度特征聚合有效地增强了图像的上下文信息。在Cityscapes和Camvid数据集上进行的一系列实验表明,该网络能有效提升图像分割精度。

摘要： 针对动态物体容易干扰SLAM建图准确性的问题,提出了一种新的动态环境下的RGB-D SLAM框架,将深度学习中的神经网络与运动信息相结合。首先,算法使用Mask R-CNN网络检测可能生成动态对象掩模的潜在运动对象。其次,算法将光流方法和Mask R-CNN相结合进行全动态特征点的剔除。最后在TUM RGB-D数据集下的实验结果表明,该方法可以提高SLAM系统在动态环境下的位姿估计精度,比现有的ORB-SLAM2的表现效果更好。

摘要： 自动驾驶是目前计算机视觉任务中难度较大的一类任务,而道路场景下的语义分割是自动驾驶的核心技术之一。本文针对经典分割网络中分辨率恢复方式简单,导致细节信息不完整、目标边缘模糊的问题,提出一种基于强化语义流场的上采样方法。该方法通过学习相邻特征图之间的语义流场,使生成图语义信息更细致,边界处更清晰。同时针对道路场景中目标尺度变化处理困难、小目标难以识别的问题,提出一种新的多级特征融合方法,充分融合深层语义信息与浅层细节信息,以适应不同尺度的目标。本文采用CamVid为数据集进行实验,并进行数据增强。实验表明本文提出的两种方法均显著提升了准确度,整体网络与PSPNet、Deeplabv3+等多种模型相比,准确率更高,分割效果更接近真实值。

摘要： 图像语义分割的传统方法是依靠人工设计提取特征,用机器学习的方法进行分类,来达到分割的效果,但是过程比较复杂,且最终的分割效果也不理想。为解决该问题,提出运用深度学习的方法自动提取图像中物体特征,实现端到端训练,并提升分割精度。采用的基础网络是ResNet-50,同时采用空洞空间金字塔池化模块进行有效的特征融合,并在最后一组卷积块中使用了空洞卷积来控制感受野,以提取多尺度信息。在解码阶段采用密集上采样卷积来获得最终的输出预测图。实验表明,该方法获得mIoU值为86.185%。

摘要： 语义分割是深度学习计算机视觉方面的核心领域,有着很深的研究价值。语义分割技术的发展在近几年趋于成熟,从传统的方法到基于卷积神经网络方法的突破,构建了端到端的语义分割深度学习神经网络算法。这些方法被用于人工智能当中,应用在无人驾驶,遥感影像检测,医疗影像研究等方面。基于对经典语义分割算法进行学习,每个经典算法都有自己的特点,值得在此一一总结阐述。文章将针对语义分割的发展,优秀算法的网络架构特色,应用的场景进行介绍,最后将对语义分割算法作小结和展望。

摘要： 语义分割是图像理解的重要手段.为每个像素分配相应的标签,将图像分割成不同的类别区域,在无人驾驶医学图像处理等领域具有重要的研究意义.对近年来语义分割的方法进行阐述,从分辨率、多尺度和注意力机制3个角度对模型结构研究进展进行分析比较,最后对语义分割所面临的挑战和发展趋势进行探讨.

摘要： 遥感影像的语义分割是遥感图像理解中一个基本任务,以深度全卷积网络为代表的技术今年取得了令人映象深刻的成果.然而,但是现有的高分辨遥感图像语义分割方法中普遍存在着明显的“椒盐现象”(单个地物内部分像素被识别为其他地物),造成这现象的主要原因是遥感地物存在类内不一致(地物标签相同但外部特征不同)与类间无差别(两个相邻的地物,标签不同但外部特征相似).针对遥感图像中类内不一致和类间无差别问题,提出一种基于全局-边界融合网络的高分遥感影像语义分割网络(GBFNet).认为造成类内不一致现象的主要原因是缺乏准确的上下文信息,因此GBFNet使用一个全局网络,通过引入图像上下文信息,增强判别特征之间的语义一致性;同时,使用边界网络,引入边界信息,以增大相邻地物之间的特征距离,缓解类间无差别现象.在Vaihingen和ISPRS Potsdam等基准数据集上的实验结果表明,GBFNet优于现有的基线方法,在mF1指标上最大提高5.2％,并且可视化分析结果表明本文提出的方法在减缓椒盐现象方面具有明显优势.

摘要： 针对现有三维点云模型重建对象化和结构化信息缺失的问题,提出一种基于图模型的二维图像语义到三维点云语义传递的算法.该算法利用扩展全卷积神经网络提取2D图像的室内空间布局和对象语义,基于以2D图像超像素和3D点云为结点构建融合图像间一致性和图像内一致性的图模型,实现2D语义到3D语义的传递.基于点云分类实验的结果表明,该方法能够得到精度较高的室内三维点云语义分类结果,点云分类的精度可达到73.8752％,且分类效果较好.

摘要： 针对不同分辨率光学卫星影像中的典型地物要素，以居民地(建筑物)为主要研究对象，从语义分割角度对典型地物要素智能测图面临的地物提取样本库构建、利用深度卷积特征的像素级地物提取和居民地要素测图应用等关键问题开展研究。

摘要： 行人重识别技术是嫌疑目标跨摄像头的完整活动路径分析系统的核心技术,但是在被用于实际应用时面临计算复杂度高和存储开销大等问题.针对这些问题,以视频侦查应用为背景,提出一种基于空间颜色特征的行人重识别方法,建立一种在计算复杂度和性能上较均衡的行人外貌特征描述符,对外貌中直观和重要的颜色特征采用对光照具有不变性的颜色描述符进行描述,一定程度上降低了光照变化对颜色特征稳定性的影响.为了弥补颜色直方图缺少空间信息的缺陷,并提高颜色直方图对光照和姿态变化的鲁棒性,把行人团块按语义分割成躯干和腿两部分,再把每一部分细分成若干子块,然后分别计算颜色描述符,并在计算相似度时引入位置信息.实验结果显示本方法在取得接近最好性能的同时具有低计算复杂度的优点。

摘要： 为了提高语义查询的检索速度,本研究在分析OWL本体结构的基础上,提出了一种对本体进行语义分割的方法。

摘要： 虽然网页设计者一般将相关内容放在同一页面,但是网页通常包含如广告、导航栏、版权信息等与页面主题关系不大的信息,同时也可能包含多个主题.如果将整张网页作为最小不可分割的基本信息实体进行处理,会受到较多干扰;如果能对页面进行语义分割,识别出相关语义区域进行处理,可以提高网页信息获取的精度和效率.本文研究树编辑距离，Web页面语义区域划分和基于树编辑距离的页面语义区域识别。

摘要： 基于语义的图像检索是当前图像检索技术发展的必然趋势。本文介绍了基于语义的图像检索的一些基本理论问题：如图像的多层语义模型、图像语义的抽取模型和基于语义的检索模型等；并探讨了几种代表性的图像语义分割技术；最后指出了基于二语义的图像检索急需解决的一些问题。

摘要： 遥感数据越来越丰富,尤其是高分辨率(高时间、高空间、高光谱)的可获取性越来越容易,研究应用高分卫星遥感影像数据,对化学污染进行早期预警和危害评估具有现实的意义.文中主要围绕化学污染云团在中高分辨率遥感影像数据上表现出来的特征,研究基于深度学习技术的自动化识别方法,快速在大区域上确定化学污染云团的尺度和边界,为下一步精确识别缩小范围.

摘要： 遥感数据越来越丰富,尤其是高分辨率(高时间、高空间、高光谱)的可获取性越来越容易,研究应用高分卫星遥感影像数据,对化学污染进行早期预警和危害评估具有现实的意义.文中主要围绕化学污染云团在中高分辨率遥感影像数据上表现出来的特征,研究基于深度学习技术的自动化识别方法,快速在大区域上确定化学污染云团的尺度和边界,为下一步精确识别缩小范围.

摘要： 本申请实施例提供一种视频语义分割装置、训练方法以及视频语义分割方法，其中，所述视频语义分割方法包括：从待分割视频中获取与当前帧图像相邻的图像作为所述当前帧图像的参考图像；获取至少一帧参考图像中各参考图像的图像特征以及语义识别结果，其中，所述至少一帧参考图像是在视频序列中与当前帧图像相邻的前一帧或多帧图像；将所述各参考图像的图像特征、所述各参考图像的语义识别结果和所述当前帧图像输入视频语义分割模型，得到所述当前帧图像的语义分割结果。与相关技术既提升了语义分割的准确度又提升了语义分割的速度，并最终实现了实时的视频语义分割。

摘要： 本发明公开了一种语义分割网络构建方法，包括构建短期连接单元；堆叠得到编码器；构建像素级注意力模块；进行上采样构建解码器；结合编码器和和解码器得到语义分割网络；构建细节引导模块用于对语义分割网络进行训练；完成语义分割网络的构建。本发明还公开了包括所述语义分割网络构建方法的语义分割方法，以及包括所述语义分割方法的自动驾驶方法。本发明提供的这种语义分割网络构建方法、语义分割方法及自动驾驶方法，通过创新的语义分割网络的设计和构建，不仅实现了语义分割网络的建立和对应的语义分割，而且本发明方法的可靠性更高，精度更高，而且资源消耗更少。

摘要： 一种基于实时语义分割的室内救援车及图像语义分割方法，本发明涉及室内救援车，本发明目的在于克服室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要的问题，它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。并通过室内救援车的图像采集结构进行语义分割。本发明属于室内救援领域。

摘要： 本公开实施例公开了一种语义分割模型的训练方法、装置和图像的语义分割方法，其中，方法包括：获取训练数据；利用训练数据，采用融合像素级对比学习和交叉监督的半监督学习的训练方式对预先建立的语义分割网络进行训练，获得语义分割模型。本公开实施例通过交叉监督的半监督学习，可以利用有标签图像数据和无标签图像数据共同训练，有效提高语义分割模型的鲁棒性，并结合像素级对比学习可以有效拉近同类型像素特征间的距离，同时推远不同类型像素特征间的距离，提升像素特征的可判别性，从而有效提高语义分割模型的性能。

摘要： 本公开提供了一种语义分割模型的训练方法和语义分割方法，涉及人工智能领域，具体涉及计算机视觉、图像识别和深度学习领域。语义分割模型的训练方法的具体实现方案为：根据无标签的第一图像，采用语义分割模型得到针对第一图像的多个第一掩膜特征图和与多个第一掩膜特征图对应的多个第一类别信息；根据第一图像，采用语义分割模型的教师模型得到针对第一图像的多个第二掩膜特征图和与多个第二掩膜特征图对应的多个第二类别信息；根据多个第二掩膜特征图和多个第二类别信息，确定针对第一图像的伪标签信息；以及根据多个第一掩膜特征图、多个第一类别信息和伪标签信息，对语义分割模型进行训练。其中，教师模型与语义分割模型的网络结构相同。

摘要： 本申请涉及人工智能领域，具体涉及计算机视觉领域，提供一种图像语义分割方法和图像语义分割装置，该方法包括：获取待处理图像的初始特征图，将初始特征图输入到分割网络，从而得到待处理图像的语义分割图，该语义分割图的分辨率与待处理图像的分辨率相同，该分割网络包括至少一个非对称卷积单元，该至少一个非对称卷积单元用于对初始特征图进行特征提取，非对称卷积单元生成的多个感受野的形状不完全相同。通过将单一形状的感受野扩展为多形状的感受野，使得与实际物体和人的形状更加匹配，有效提高分割精度。

摘要： 本申请公开了一种弱监督语义分割方法、语义分割方法、数据处理装置及计算机可读存储介质，包括利用骨干分类网络对图像块进行分类处理，得到分类特征图；分类特征图包括目标分类特征图和中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用类别激活图以及分割特征图生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果，充分利用中间分类特征图来优化第二分割网络，从而能够提高语义分割的准确性。

摘要： 本公开提供了一种语义分割模型的训练方法、语义分割方法、装置、电子设备和介质，涉及图像处理与人工智能领域，尤其涉及计算机视觉、语义分割与知识蒸馏。一种语义分割模型的训练方法包括：确定至少一个样本数据，每个样本数据包括样本图像、真实语义分割掩码和真实语义类型；对于每个样本数据：将样本图像输入第一网络，获得第一图像特征和第一预测语义分割掩码；将真实语义分割掩码和真实语义类型输入第二网络，获得第二图像特征和第二预测语义分割掩码；将第一图像特征输入到第三网络以获得第一预测语义类型，并且将第二图像特征输入到第三网络以获得第二预测语义类型；确定损失函数；以及基于损失函数调整第一网络的参数。

摘要： 本发明公开的一种语义分割模型训练方法、语义分割方法，该训练方法包括辅助任务和语义分割任务，辅助任务和语义分割任务采用相同的主干框架KP‑FCNN；在辅助任务中，使用大规模的无标签航空激光点云数据对特征学习模型进行训练，且在正负样本选择阶段，在挖掘的最难负样本基础上利用聚类算法去除特征相似的负样本，使模型在辅助任务中学习空间不变性信息基础上考虑特征相似性；将训练后的特征学习模型的权重参数作为语义分割模型参数的初始值，实现语义分割任务的信息增益，超越基准监督网络，特别是在语义标签严重不足时，极大的提升分类精度。

摘要： 本申请公开了一种语义分割方法、语义分割模型的训练方法、装置及设备，属于计算机视觉技术领域，该方法包括：获取原始图像和语义分割模型，语义分割模型包括语义分类模型和融合注意力机制的特征提取模型；调用融合注意力机制的特征提取模型提取得到融合原始图像的空间位置分布的结构特征的目标特征图；将该目标特征图输入语义分类模型，基于语义分类模型输出的原始图像中各个像素点的语义类别，获取该原始图像的语义分割结果。该方法使得获取的目标特征图强化了与原始图像的空间位置分布相关的上下文信息融合，进而使得根据该目标特征图获取的语义分割结果的性能得到了提高。