基于余弦相似性计算度量与迁移学习的医学图像分类方法

摘要

本发明公开了涉及一种基于余弦相似性计算度量与迁移学习的医学图像分类方法。本发明源域设备中有一种病症的不同时期的已知医学数据集图像分组与目标域的少量已知不同于源域的病症数据集图像奇异值分解和加权叠加后进行余弦相似性计算度量，根据相似性度量得到出的结果，将与目标域中已知图像样本距离最近的其对应时期的源域数据集组所对应的网络结构与权重参数迁移至目标域。使用目标域的一部分已知图像样本训练更新迁移的网络，用另一部分微调网络，再用剩下的未标注图像样本数据对迁移来的神经网络进行测试分类效果。本发明以相似性度量的结果为依据，可以对可迁移性进行评估，从而找到可迁移性更大的网络模型，使得目标域的分类效果更好。

说明书

技术领域

本发明属于医学图像分类领域，具体涉及一种基于余弦相似性计算度量和卷积神经网络迁移学习的图像分类。

背景技术

医学图像分类对于医学研究分析和临床医学诊断研究都具有不可或缺的作用。近年来，人工智能的快速发展也带动信息与多媒体飞速发展，信息也是促进人工智能进步完善的工具，因此信息数据的交互越来越受到关注，其应用场景逐渐广泛并进入到医学领域。随着计算机等信息技术的提升，图像凭借其能够生动具体描述内容的能力成为了被普遍应用的信息数据载体之一。越来越多的基于图像应用因为其灵活使用和便利被普及并使用于实际生活中，其能够帮助人类对大量的图像数据进行分类处理。图像分类技术已经在人脸识别、智能交通系统和医学图像等众多领域中投入应用。

在同时期，在人工智能和大数据交互的背景刺激下，以深度学习为主的机器学习算法也在不断地加深和巩固，逐渐在推动计算机时代快速发展中占据重要地位。深度学习尤其在图像的识别分类和特征提取等领域有巨大的作用。目前医学图像分析技术也正随着计算机技术的不断发展而进步，该项技术逐渐地成为了医学研究和临床诊断的一个重要的工具。将医学图像分析与深度学习相结合也成为了一项研究热点。

图像分类是计算机视觉中基础任务之一，作为一个模式分类问题，目的是将不相同的图像分至不同的类别区域并在分类过程中满足最小误差。图像分类任务从传统的方法到基于深度学习的方法，经历了几十年的发展。大部分基于深度学习的图像分类任务需要依赖数据集的数量和质量。传统的深度学习算法，例如卷积神经网络(ConvolutionalNeural Network)结构及算法，但其需要依靠大批的数据以及较长的训练时间才能在处理图像分类识别方面得到较好的分类精度。而医学图像获取成本高，再加上病症的不确定性等因素使一些病症的图像样本较少。若直接将已知小样本的图像样本训练网络则会得到较高的损失率和低准确率。

迁移学习是一种机器学习的方法，是可缓解训练数据不足这一基本问题而发展起来的重要方法，其基本原理是通过已学习的相关任务中知识转移来改进新任务的学习，借助迁移学习，在一个模型训练任务中针对某种类型数据获得的关系也可以轻松地应用于同一领域的不同问题。近年来深度学习技术在图像识别分析领域取得了长足的进步，但是必须要有海量的训练数据作为支撑，来理解数据的潜在模式，才能够实现网络模型的训练。深度迁移学习将在原域中预先训练好的深度学习网络结构重新利用，将其用于目标领域的深度神经网络的一部分，因为原网络已经学习了图像丰富特征，有很好的泛化性，可通过网络微调可以实现相应的目标领域学习，由此可以说明迁移学习可以适当减少对数据的依赖，在一定程度上加快了学习速度。

常用的医学图像的特点是由人体组织特征差异决定影像的灰度分布，而这种灰度图像的对比度不大，肉眼对其分辨率不高而难以区分。相似性度量，即综合评定两个事物之间相近程度的一种度量。两个事物越接近，它们的相似性度量也就越大，而两个事物越疏远，它们的相似性度量也就越小。常用的图像相似度度量方法都是基于向量空间的模型，即将图像特征看作是向量空间中的点，通过计算两个点之间的距离接近程度来衡量图像特征间的相似性。余弦相似性是通过计算两个向量的夹角余弦值来评估他们的相似度。根据相似度的大小来判断源域图像数据和目标域数据的差异大小再进行合理迁移学习，才可以使得小样本目标域的分类准确率合理提升。

发明内容

本发明为改进原本的仅基于迁移学习的医学图像分类法，设计了一种基于余相似度量和迁移学习的医学图像分类法。

本发明的技术方案为：

本发明将源域设备中有一种病症的不同时期的已知医学数据集图像分组与目标域的少量已知不同于源域的病症数据集图像奇异值分解和加权叠加后进行余弦相似性计算度量，根据相似性度量得到出的结果，将与目标域中已知图像样本距离最近的其对应时期的源域数据集组所对应的网络结构与权重参数迁移至目标域。使用目标域的一部分已知图像样本训练更新迁移的网络，用另一部分微调网络，再用剩下的未标注图像样本数据对迁移来的神经网络进行测试分类效果。此方法与原本直接将源域网络结构迁移至目标域微调网络后图像分类的方法相比，对图像分类的效果精准。

本发明的有益效果：本发明是基于余弦相似性计算对源域和目标域的数据集进行了相似性度量。此外，使用与目标域数据集相似性高的源域数据集的部分进行迁移学习，最终得到的图像分类结果比原本的分类结果更好。以相似性度量的结果为依据，可以对可迁移性进行评估，从而找到可迁移性更大的网络模型，使得目标域的分类效果更好。

附图说明

图1是本发明的实现流程图。

图2是残差块的说明图。

具体实施方式

如图1所示，本发明包括以下步骤：

步骤(1)源域设备中存有同一种病症的不同时期的医学图像数据集，将此时的数据集分为前、中、后三个时期。

步骤(2)分别取出前10张图像标准化后进行奇异值分解并加权叠加，再将目标域设备中的图像数据集相同操作后，对两者做余弦相似性计算度量。

1.奇异值分解

奇异值分解是具有明显的物理意义的一种方法，可将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。奇异值分解是可以适用任意矩阵的一种分解的方法：

A＝UΣV

假设式中的A是一个N*M的矩阵，那么得到的U是一个N*N的方阵(里面的向量是正交的，U里面的向量称为左奇异向量)，Σ是一个N*M的矩阵(除了对角线的元素都是0，对角线上的元素称为奇异值)，V

2.图像的相似性度量方法

常用的图像相似度度量方法都是基于向量空间的模型，即将图像特征看作是向量空间中的点，通过计算两个点之间的距离接近程度来衡量图像特征间的相似性。由于医学图像的灰度分布大，特征不明显，将其奇异值分解提取后进行加权叠加以此强调特征部分再进行相似性度量。该步操作在对最终分类的准确率提升有重要作用。

2.1余弦距离

余弦相似性计算是测量两个向量内积空间的余弦值来度量它们之间的相似性，最常见是在二维向量。余弦相似度的取值范围在-1到1之间，两个向量余弦值越接近1，则两个向量越相似，反之则差异越大。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。

A＝(a

式中A,B是两组图像数据对应的特征向量，a

步骤(3)根据余弦值的大小可以获得与目标域设备的医学图像数据集最近的源域医学图像数据集组，可以推出该时期的数据集组所对应的网络结构和参数权重适合目标域。由此将该网络迁移至目标域。

3.残差网络

3.1残差块

残差网络是一种易优化的卷积神经网络，其特点是由一系列的残差块跳跃连接的方式组成，可缓解深度网络中增加深度而产生的梯度消失问题。如图2使用了一种连接方式叫做“shortcut connection”，使其形成一个残差块，任意一个残差块都可以表示为：

x

在上式中，x

残差块分为直接映射部分和残差部分，h(·)是直接映射，f(·)是激活函数，一般ReLU函数作为激活函数。一般F有卷积，激活等操作。若F(x

对于更深层的层L和l层的关系可以表示为：

通过上式可以得L层可以是任意一个相对于其浅的l层和它们间的残差部分之和；

3.2网络结构

使用卷积神经网络结构是ResNet-50残差网络结构。

其中包括1个输入层，49个卷积层，1个全连接层。

学习速率为η，取[0.01,0.1]之间，激励函数g(x)的输出结果是[-1,1]或者[0,1]，其中激励函数g(x)有诸多形式，本发明将其取作Sigmoid函数。形式为：

该网络中用作分类的损失函数为归一化指数函数，或Softmax函数，实际上是有限项离散概率分布的梯度对数归一化。形式为：

其中θ

通过Softmax函数，可以使得P(i)的范围在[0,1]之间。在回归和分类问题中，通常是待求参数，通过寻找使得P(i)最大的θ

步骤(4)优化网络，用目标域具有的少量已知医学数据图像集的一部分训练迁移至目标域的网络，用另一部分微调网络参数，最后使用数据集中未知的医学图像样本测试网络的分类结果和准确率。

为验证本发明提出的方法有效性，分别使用肺炎感染CT图像数据集和乳腺癌CT图像数据集作为源域的医学图像数据集和目标域的医学图像数据集，使用余弦相似性度量方式和ResNet-50深层神经网络结构进行仿真实验。其中肺部感染CT图像数据集共有5200个图像数据，其根据肺部感染情况均分为前期、中期、后期3组数据集组，每组1700个图像数据集。而目标域的乳腺癌CT图像数据集有170个图像数据，选取其中50个模拟已知样本图像，剩下的120个为未知样本图像。

首先分别对源域的3组数据集组和目标域的数据集抽取前10张图像标准化处理后进行奇异值分解并加权叠加得到四张叠加图像，目标域的乳腺癌图像集对应的叠加图像分别与源域的肺炎感染图像集三组对应的叠加图像进行余弦相似性计算度量，以获得与目标域已知样本图像距离最近的一组时期的肺炎感染图像数据集，用该时期的数据集训练网络后将网络结构与权重参数迁移至目标域。从目标域的乳腺癌图像数据集中选取25个已知样本对迁移至目标域的网络进行训练，用剩余的25个已知样本对网络权重参数进行微调。最后使用120个未知样本测试调整后的网络。本次仿真实验将源域神经网络的最大迭代次数设置为17000，目标域的网络最大迭代次数设置为1700，学习率设为1.0×10

表1源域图像集组与目标域图像余弦相似性计算结果

表中的Early为源域的肺炎感染图像前期数据集组，Middle为源域的肺炎感染图像中期数据集组，Late为源域的肺炎感染图像后期数据集组。根据表中数据可得源域的肺炎感染图像中期数据集组与目标域的乳腺癌图像数据集的相似性最高，由此将源域中期数据集对应的网络结构与权重参数迁移至目标域。

表2 ResNet-50网络分类仿真实验结果

表中的Net1为源域数据集训练神经网络结构的对照组，Net2为直接源域数据集训练完成的神经网络结构迁移至目标域测试的对照组，Net3为本方法使用度量后将中期数据集对应的网络结构和权重参数迁移至目标域测试的实验组。根据表格数据中Net2与Net3相较可得网络对乳腺癌图像数据分类准确率明显提升。