首页> 中国专利> 基于深度可分离卷积神经网络的SAR图像自动目标识别方法

基于深度可分离卷积神经网络的SAR图像自动目标识别方法

摘要

本发明涉及合成孔径雷达图像目标识别领域,具体地说,是基于深度可分离卷积神经网络的SAR图像自动目标识别方法。采用数据增强技术扩增数据集,充分训练模型中的参数,提高模型的泛化能力与鲁棒性,减小过拟合,特征提取模型用并联深度可分离卷积神经网络代替常规卷积神经网络结构并在部分卷积层后集成SE注意力模块,有效提取SAR图像中存在的有用目标特征,同时减少模型中参数的数量,缩短训练时间,优化模型性能。最后将Nesterov动量与均方根支柱优化算法相结合,完成对模型中参数的迭代更新。

著录项

  • 公开/公告号CN113177465A

    专利类型发明专利

  • 公开/公告日2021-07-27

    原文格式PDF

  • 申请/专利权人 江苏科技大学;

    申请/专利号CN202110460277.2

  • 发明设计人 魏雪云;梅树彬;

    申请日2021-04-27

  • 分类号G06K9/00(20060101);G06K9/46(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构32243 南京正联知识产权代理有限公司;

  • 代理人杭行

  • 地址 212003 江苏省镇江市梦溪路2号

  • 入库时间 2023-06-19 12:00:51

说明书

技术领域

本发明涉及合成孔径雷达图像目标识别领域,具体地说,是基于深度可分离卷积神经网络的SAR图像自动目标识别方法。

背景技术

合成孔径雷达由于其高分辨以及全天候工作的优点,被广泛用于军事情报获取与侦测战场情况等各种领域中。面对各种领域的应用,如何更高效、更准确的获取合成孔径雷达图像的信息成为一个重大问题。SAR因为其独特的成像机制,导致图像中存在大量的相干斑噪声,而且SAR图像对目标方位角特别敏感,在不同的方位所观测到的图像目标差异较大,通过人工识别图像中所包含的信息是不切实际的。早期,合成孔径雷达的图像自动目标识别技术是基于模板匹配的方法来完成的,该方法需要建立好每个类别的模板库,然后通过对图像进行特征提取,得到特征向量与建立好的库中向量对比,计算两者之间的向量差距,最后用最小距离法判定所属类别。如果待判定的图像类别多,那么模板库的建立要求较高,使得该方法太繁琐缺乏灵活性。

如今,随着社会由人工化向智能化方向发展,深度学习应用越来越广。深度学习方法应用在图像目标检测与识别中相对于传统的识别方法极大的提升了提取精度与速度,其中卷积神经网络(ConvolutionNeural Network,CNN)模型在图像目标识别发展中最为突出。CNN是在对猫的视觉皮层细胞的研究基础上,模仿大脑皮层结构而设计的多层神经网络。直接使用图像作为卷积神经网络的输入,避免复杂的预处理过程且能很好地提取出图像特征。CNN与神经网络相比包含了一个由卷积层与下采样层组成的特征提取器,而且CNN能达到局部感知与权值共享的作用。然而在训练网络模型的过程中,卷积神经网络是监督式模型,模型中参数较多,参数的正常工作需要较多的数据集,而官方公开的SAR数据集较少,用于图像识别时易导致过拟合现象。

专利“基于可变卷积神经网络的SAR自动目标识别方法”中利用SAR目标特有的形态、散射信息,实现目标精准识别分类,此类方式存在许多问题,第一: SAR图像数据集中每个类别的样本数目比较少,只有样本数目较多时,才能充分训练神经网络中的参数。第二:大多数神经网络网络模型通过增加模型的深度来提高识别率,深度增加的同时会带来更多的参数,增加计算量,延长训练时间。第三:通常神经网络模型采用的优化算法只能从单一方面改进模型迭代更新参数方式,没有考虑到同时从改变学习率与改变梯度两方面对模型进行训练。

发明内容

为了解决上述技术问题,本发明提供了一种基于深度可分离卷积神经网络的 SAR图像自动目标识别方法,该方法用深度可分离卷积层代替常规卷积层进行对图像的特征提取,减少模型参数,缩短训练时间,降低资源设备要求。

为实现上述目的,本发明提供如下技术方案:

基于深度可分离卷积神经网络的SAR图像自动目标识别方法,其特征在于,包括如下步骤:

步骤1:从移动和静止目标获取与识别MSTAR数据集中,选取8类俯仰角分别为17°和15°的军事目标图片作为实验数据集,其中俯仰角为17°的图片作为训练集,仰俯角为15°的图片作为测试集;

步骤2:对步骤1选取的训练集进行预处理,即对训练集进行随机裁剪、翻转、随机锐化增强、直方图均衡化、旋转、调整亮度与对比度操作,扩充数据集,原始SAR图像格式为128×128,将扩充后数据集里的图片大小重塑成256×256,特征通道数为1;

步骤3:搭建并联深度可分离卷积神经网络模型,对步骤2得到的训练集图片进行多尺度特征同步提取;

步骤4:在部分深度可分离卷积层后集成挤压与激励模块,使模型自主学习各个通道的权重系数;

步骤5:采用均方根支柱与牛顿动量相结合的优化算法迭代更新模型中的参数,使得损失函数达到一个较小值;

步骤6:将选取好的测试集输入到训练好的深度可分离卷积神经网络模型中进行测试,得到网络输出的目标识别结果。

本发明进一步改进,步骤2具体数据增强操作包括随机裁剪出来的图片大小是原来图片大小的0.8倍到1倍之间,裁剪长宽比为4∶3;翻转采用随机水平翻转与垂直翻转;随机锐化增强采用USM锐化增强算法;旋转操作将图片逆时针旋转30°;亮度与对比度操作为调整图片的亮度为1.2,对比度为100。

本发明进一步改进,步骤3的具体步骤如下:

(1)特征提取模型采用8个卷积层,6个池化层以及一个全连接层,输入图像的格式为256×256×1,第一层采用3×3大小的卷积核,且深度为16,采用全零填充的卷积层Conv1,生成16个大小为256×256的特征图,第二层为挤压激励层用来提升模型对特征的辨别力,输出的特征图大小为256×256×16,再经过Conv2第二个卷积层,同样卷积核大小为3×3,使用全零填充,输出16个大小为256×256的特征图;Conv3与Conv4两个卷积核大小为3×3深度为32,采用全零填充,生成32个大小为256×256的特征映;S1池化层对上层输出特征图进行特征筛选与信息过滤,池化层的抽样窗口为2×2,经过池化层输出32个大小为128×128的特征图,将生成的特征图输入到A、B两个并联的卷积层通道中, A通道卷积层过滤器的大小为5×5,B通道卷积层过滤器大小为3×3,都采用全零填充;A通道的池化步长为4,采样窗口为2×2,B通道有两个池化层,步长都为2,A与B通道同时生成32个大小为32×32的特征映射,作为下一层的输入;Conv5的卷积核大小3×3,深度64,采用全零填充,输出的特征图格式为 32×32×64,再经过步长为2,抽样窗口为2×2的池化层后,输出的图像大小为16×16×64;最后通过全连接层,完成分类任务;

(2)深度可分离卷积分为一个深度卷积和一个1×1的卷积;

假设输入的特征图大小为D

D

其中M为输入特征图的特征通道数,N为输出特征图的特征通道数;

深度卷积的计算量如公式(2):

D

1×1标准卷积计算量为D

D

深度可分离卷积与标准卷积的计算量之比为公式(4):

从公式(4)可得出深度可分离卷积神经网络参数比标准卷积神经网络参数少、计算量小,能有效提高训练速度。

(3)在每层深度可分离卷积层后添加批量归一化层,防止出现梯度弥散现象,提高模型的泛化能力与训练速度。

本发明进一步改进,步骤4的具体操作如下:

(1)进行卷积操作F

式中:

(2)进行F

挤压操作将整个通道压缩成一个描述通道的字符,z

(3)进行F

s=F

式中:z描述通道的字符,s是用来反应张量U中特征图的权重,δ为Relu 激活函数f(x)=max(0,x),σ为Sigmoid激活函数f(x)=1/1+e

(4)最后的权重重标定操作,把二维矩阵u

F

式中:s

本发明进一步改进,步骤5采用均方根支柱与牛顿动量相结合的优化算法,首先利用均方根支柱优化算法改变学习率;其次利用牛顿动量改变梯度,在避免网络陷入局部最优解的同时提高模型收敛精度与速度。

本发明进一步改进,将选取好的测试集作为目标识别图像,输入到进行步骤 2到步骤5操作后的网络模型中,完成对SAR图像目标的识别,设置批处理大小为64,初始学习率为0.0005,迭代次数为300。

本发明的有益效果:(1)采用数据增强技术扩增数据集,充分训练模型中的参数,提高模型的泛化能力与鲁棒性,防止过拟合;(2)特征提取模型以深度可分离卷积层代替常规卷积层,减少模型参数,缩短训练时间,同时对资源设备要求低;(3)在部分深度可分离卷积层后集成挤压与激励模块,只略微增加模型复杂度和计算量,提高模型对提取特征的辨别能力,强调有用特征,抑制无用特征; (4)采用均方根支柱与牛顿动量相结合的优化算法,从两方面改进更新方式,加快网络训练速度,使得网络的收敛精度提高,避免网络陷入局部最优解;本发明利用移动和静止目标获取与识别MSTAR数据集中选取的8类测试集进行测试,识别率可以达到99.90%。

附图说明

图1为本发明的流程图;

图2为本发明的神经网络示意图;

图3为本发明的挤压激励注意力模块示意图;

图4为注意力模块嵌入到神经网络模型中示意图。

具体实施方式

为了加深对本发明的理解,下面将结合实施例对本发明做进一步详细描述,该实施例仅用于解释本发明,并不对本发明的保护范围构成限定。

实施例:如图1至图4所示,基于深度可分离卷积神经网络的SAR图像自动目标识别方法,包括如下步骤:

步骤1:从移动和静止目标获取与识别MSTAR数据集中,选取8类俯仰角分别为17°和15°的军事目标图片作为实验数据集,其中俯仰角为17°的图片作为训练集,共有2245张,仰俯角为15°的图片作为测试集,共有2034张;

步骤2:对步骤1选取的训练集进行预处理,即对训练集进行随机裁剪、翻转、随机锐化增强、直方图均衡化、旋转、调整亮度与对比度操作,扩充数据集,原始SAR图像格式为128×128,将扩充后数据集里的图片大小重塑成256×256,特征通道数为1;

步骤3:搭建并联深度可分离卷积神经网络模型,对步骤2得到的训练集图片进行多尺度特征同步提取;

步骤4:在部分深度可分离卷积层后集成挤压与激励模块,使模型自主学习各个通道的权重系数;

步骤5:采用均方根支柱与牛顿动量相结合的优化算法迭代更新模型中的参数,使得损失函数达到一个较小值;

步骤6:将选取好的测试集输入到训练好的深度可分离卷积神经网络模型中进行测试,得到网络输出的目标识别结果。

本实施例中,步骤2具体数据增强操作包括随机裁剪出来的图片大小是原来图片大小的0.8倍到1倍之间,裁剪长宽比为4∶3;翻转采用随机水平翻转与垂直翻转;随机锐化增强采用USM锐化增强算法;旋转操作将图片逆时针旋转30°;亮度与对比度操作为调整图片的亮度为1.2,对比度为100。

本实施例中,如图2所示,步骤3具体实施方法为:

(1)特征提取模型采用8个卷积层,6个池化层以及一个全连接层,输入图像的格式为256×256×1,第一层采用3×3大小的卷积核,且深度为16,采用全零填充的卷积层Conv1,生成16个大小为256×256的特征图,第二层为挤压激励层用来提升模型对特征的辨别力,输出的特征图大小为256×256×16,再经过Conv2第二个卷积层,同样卷积核大小为3×3,使用全零填充,输出16个大小为256×256的特征图;Conv3与Conv4两个卷积核大小为3×3深度为32,采用全零填充,生成32个大小为256×256的特征映;S1池化层对上层输出特征图进行特征筛选与信息过滤,池化层的抽样窗口为2×2,经过池化层输出32个大小为128×128的特征图,将生成的特征图输入到A、B两个并联的卷积层通道中,A通道卷积层过滤器的大小为5×5,B通道卷积层过滤器大小为3×3,都采用全零填充;A通道的池化步长为4,采样窗口为2×2,B通道有两个池化层,步长都为2,A与B通道同时生成32个大小为32×32的特征映射,作为下一层的输入;Conv5的卷积核大小3×3,深度64,采用全零填充,输出的特征图格式为 32×32×64,再经过步长为2,抽样窗口为2×2的池化层后,输出的图像大小为16×16×64;最后通过全连接层,完成分类任务;

(2)深度可分离卷积分为一个深度卷积和一个1×1的卷积;

假设输入的特征图大小为D

D

其中M为输入特征图的特征通道数,N为输出特征图的特征通道数;

深度卷积的计算量如公式(2):

D

1×1标准卷积计算量为D

D

深度可分离卷积与标准卷积的计算量之比为公式(4):

从公式(4)可得出深度可分离卷积神经网络参数比标准卷积神经网络参数少、计算量小,能有效提高训练速度。

(3)在每层深度可分离卷积层后添加批量归一化层,防止出现梯度弥散现象,提高模型的泛化能力与训练速度。

本实施例中,如图3所示,步骤4的具体操作如下:

(1)进行卷积操作F

式中:

(2)进行F

挤压操作将整个通道压缩成一个描述通道的字符,z

(3)进行F

s=F

式中:z描述通道的字符,s是用来反应张量U中特征图的权重,δ为Relu 激活函数f(x)=max(0,x),σ为Sigmoid激活函数f(x)=1/1+e

(4)最后的权重重标定操作,把二维矩阵u

F

式中:s

本实施例中,如图4所示,挤压与激励模块嵌入到神经网络中的操作方法:在部分深度可分离卷积层后引出另一条分支,经过全局平均池化、两个全连接层和Sigmoid激活函数层,首先通过全局平均池化层压缩特征图,第一个全连接层起到降维作用,然后被Relu函数激活后通过第二个全连接层降回初始维度,最后将学习到的各个道通的激活值(Sigmoid激活,值为0到1)乘以原始特征,输出结果。此模块将通道相互关联的依赖关系建模,提高网络特征的辨别能力,并且可以逐通道对网络提取的特征进行调整,网络则可以通过学习全局信息来加强有用特征值或抑制无用特征值。

本实施例中,步骤5采用均方根支柱与牛顿动量相结合的优化算法,首先利用均方根支柱优化算法改变学习率;其次利用牛顿动量改变梯度,在避免网络陷入局部最优解的同时提高模型收敛精度与速度。

本实施例中,将选取好的测试集作为目标识别图像,输入到进行步骤2到步骤5操作后的网络模型中,完成对SAR图像目标的识别,设置批处理大小为64,初始学习率为0.0005,迭代次数为300。

下面结合实验对本发明效果作进一步描述:

实验采用由美国国防部跟空军实验室联合提供的数据集运动与静止目标的获取与识别MSTAR。采集数据集图片使用的合成孔径雷达采用HH极化方式工作在X波段,图片分辨率为0.3×0.3m,对采集到的切片图像进行处理得到像素为128×128的图像,这些切片图像包含了各个方位角及不同种类的军事目标。本发明对MSTAR数据集中分别为2S1、BRDM_2、BTR60、D7、T62、T72、ZIL131、 ZSU_23_4,一共八类军事目标图像进行识别。表1为本发明用到的训练集与测试集的样本数目,表2为识别结果。

表1原始SAR图像目标类别与数目

表2 8类目标识别结果

从表2中可以看出,本发明除了在2S1与BRDM_2这两类目标识别率上没有达到百分百,在其他6类目标识别率上都取得了较好的结果。因此,本发明可在多类别SAR图像目标中取得高效识别,最后8类目标的平均识别率达到 99.90%。

以上所述的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此未作过多描述。对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何标记视为限制所涉及的权利要求。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号