基于生成对抗网络的医学影像超分辨率重建方法研究

摘要

随着MR、CT、PET等医学影像大幅增加，使得利用超分辨率技术重建出高清晰的影像，为辅助阅片坐诊成为了研究热点。目前，以深度学习为代表的方法相比传统方法有显著的优势，成为了关注的焦点。但已提出的基于深度学习的方法主要出现了两方面的难题：一是仅凭卷积神经网络层数的简单堆叠不能使得层数更深，难以抽取图像更深层的信息；二是深层的网络易出现棋盘块状的伪影；三是算法重建出的图像往往有纹理的损失，视觉感受较差等问题。 针对基于深度学习方法超分辨率所面临的挑战，本文主要从下面几点进行了深入的研究： （1）针对影像特征信息抽取的问题，构建深度神经网络，以有效地提取到影像更高层次的特征纹理，提出了基于深度残差网络的超分辨率算法。该算法采用残差和快捷连接的方式设计网络结构，使用了32个残差块，使得网络深达133层，最大程度地抽取到影像复杂的细节信息。 （2）针对易出现棋盘状伪影现象，分析了上采样普遍采用的反卷积操作所导致的不均匀重叠，是产生棋盘效应的根源，且在深层神经网络模型中尤为明显。因此，本文研究使用缩放卷积的思想，在上采样处理医学影像时，采用缩放影像再卷积的方法来尽量削弱棋盘现象的出现，以使算法生成的影像质量视觉体验较好。 （3）针对重建的影像视觉体验差的问题，研究使用生成对抗框架进行结构的设计，提出了一种生成对抗网络的医学影像超分辨率方法。该方法通过生成对抗的生成网络，判别网络二者的不断博弈，促使网络生成更逼真的高分辨率影像。该算法的生成器和判别器组件均采用神经网络进行构建，其中生成器使用16个残差块的深度残差网络的设计，判别器基于卷积网络进行搭建。并精心设计了算法的损失函数，包括生成损失和判别损失函数的设计。其中生成损失是通过最小化影像间的均方误差和交叉熵，判别损失是最小化影像间的交叉熵。通过生成损失和判别损失的不断优化，促使算法生成质量更高，视觉感俱佳的医学影像。该算法通过进一步增加网络特征图通道数的方式来有效地提升网络性能。该算法去掉了常用的残差网络里的批量规范化层，来构建一种新式的残差结构，简化残差块结构以达到优化网络的目的。 （4）将上述（1）、（2）、（3）所提的两个算法进行设计并研发了医学影像超分辨率系统。结合当前流行的web技术手段，将系统中的每个功能模块进行了设计和实现。系统中嵌入了常见的算法进行实现和对比，包含了影像保存，上传，超分辨率等常用功能，为辅助医生诊断和实际教学、研究提供有益的帮助。 综合以上所述，与超分辨率具有代表性的一些方法进行客观和主观的综合评价，本文所提的两个算法在超分辨率影像质量上具有一定的优势，并可以在实际工作和研究中发挥应有的作用。

目录

1 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.3 本文的研究内容及组织结构

1.3.1 研究内容

1.3.2 论文组织结构

1.4 本章小结

2 超分辨率技术理论研究

2.1 基于插值的方法

2.1.1 最近邻插值

2.1.2 双线性插值法

2.1.3 双立方插值法

2.2 基于重建的方法

2.2.1 频域法

2.2.2 空域法

2.3 基于学习的方法

2.3.1 FSRCNN

2.3.2 SRGAN

2.4 图像质量评价指标

2.4.1 图像质量的客观评价

2.4.2 图像质量的主观评价

2.5 本章小结

3 基于深度残差网络的医学影像超分辨率算法

3.1 引言

3.2 相关理论

3.2.1 残差和快捷连接

3.2.2 网络结构优化思想

3.3 DRSR算法

3.3.1 网络结构

3.3.2 损失函数

3.3.3 训练过程

3.4 性能评估与结果分析

3.4.1 实验与结果

3.4.2 客观效果评估

3.4.3 主观效果评估

3.4.4 综合评价

3.5 本章小结

4 基于深度残差生成对抗网络的医学影像超分辨率算法

4.1 引言

4.2 相关理论

4.2.1 GANs

4.2.2 网络结构改进思想

4.3 DR-GAN算法

4.3.1 网络结构

4.3.2 损失函数

4.3.3 训练过程

4.4 实验仿真与结果分析

4.4.1 实验与结果

4.4.2 客观效果评估

4.4.3 主观效果评估

4.4.4 综合评价

4.5 本章小结

5 医学影像超分辨率系统

5.1 系统设计的目的及意义

5.2 医学影像超分辨率系统总体设计

5.3 系统模块功能实现

5.3.1 系统主界面

5.3.2 医学影像SR模块

5.3.3 医学影像保存模块

5.4 本章小结

6 总结与展望

6.1 全文总结

6.2 未来工作展望

参考文献

攻读硕士学位期间发表的论文及所取得的研究成果

致谢