基于移动医疗的连续断层影像2D/3D可视化交互技术研究∗

摘要

在医疗信息领域，医学图像是数据量最大、产生和使用成本最高且具有很强写实性的信息资源之一，也是临床上众多疾病诊疗的基础，医学研究者也始终在深入挖掘医学影像资源的庞大信息宝藏。在云计算和云存储为背景的移动互联网时代，医生、患者、科研人员不再满足于指定时间、地点，在专用设备和专用网络上的医学图像处理与交流。然而，医学影像数据资源的互联网应用却常常受到网络传输、客户端运算能力、以及多样化上网终端的兼容性与“胖客户”等问题的困扰。特别是在成像技术快速发展的背景下，以连续断层影像的3D体数据可视化及其2D投影为基础的诊疗和研究范围越来越广泛，以新型数字成像设备为基础产生的医疗影像数据也越来越庞大，单个患者的连续断层影像数据体量正由百兆级朝着千兆级发展。大数据及其带来的大运算量正在抵消网络和设备性能的进步，频繁的网络基础设施和上网设备的升级始终处于“追赶”的状态。而移动应用由于非专线连接、非定制用途的特点，反而更加强调应用的“轻量化”特点和“瘦客户”趋势。 基于此，本研究采用以服务器为中心的远程渲染思路，从轻量化、原生性、鲁棒性等方面探索非原生性架构在影像后处理中的方法，突出信息的“无损”与交互的精准，并建立针对影像细节的异地“手对手”同步交流模式。在此基础上完成对临床常见断层影像数据、可视化人体数据集的共享与交互实验，并进一步构建起在线 3D 轻量化配准的技术基础，最终形成一套可跨越上网终端（无软硬件环境限制）、基于纯净网页（无需安装任何软件/插件）、在普通网络下快速地对远端体数据交互与交流的技术框架及其Web原型平台。 本文完成的主要工作如下： （1）提出非均衡倍率的金字塔结构（URPS）以及格式转换引擎（FCE）响应机制，实现符合医学影像浏览特点的高分辨率2D静态图像的无损化快速共享与交流。 （2）规划以服务器为中心的远程渲染方式，实现纯净网页对伪3D医学影像的浏览与交互，并进一步设计“主从”双通道3D交互方法与“一令一动”事件补充响应机制，实现对客户端原生性体验的优化、对服务器端响应效率的提升，从而为将专业化的影像工作站推向大众奠定基础。 （3）构建2D/伪3D图像处理集成中间件，并通过完善多终端的行为事件关系存储结构，将3D体数据与2D高分辨率图像的无损共享优势融为一体，形成Web架构的2D/3D影像可视化交互原型平台，实现医生本人、医生之间、医患之间在任意地方、任意网络、任意上网设备下处理高质量医学体数据的目的，突出移动应用的轻量化特点和原生性需求，理论上，该方案能够无缝地融入其他医疗云电子健康档案和WebApp环境，并一定程度确保数据的安全性。 （4）在Web2D/3D原型平台的基础上，形成具有较高扩展性的Web后处理技术框架，通过移植自主建立的多模态3D-3D快速配准方法，实现对不同模态影像数据的在线配准。实验证明，本文提出的Web多模态影像3D配准方法适应移动应用轻量化的交互特点和现有临床数据集的规范化特征，能够对传统的医学影像工作模式和应用对象的范围进行辅助性扩展，可服务于移动医疗背景下普适性观察与即时在线交流等需求，并可形成配准模块的中间件，适用于其他配准方法。 （5）将高质量的可视化人体数据集引入 Web2D/3D 原型平台，实现可视化人体数据集（CVH）低成本的跨地域共享，该原型平台能够支持客户端精准地解剖高分辨率3D体数据的内部结构，具备灵活的视角观察、体数据透视、缩放等3D交互行为，以及“手对手”协同交流功能，并进一步借助本文提出的Web多模态影像3D配准方法，实现CVH-2真彩色图像与CT影像的轻量化配准与同视角交互，为临床影像诊断及研究提供创新的网络技术平台，并较好地确保数据集知识产权的安全。 实验结果显示，Web2D/3D原型平台可以在100 KBps带宽下，使用任意上网设备利用普通Web浏览器对百兆级医学断层影像进行快速且高质量的3D可视化处理（浏览、注释与同步交流）；对千兆级可视化人体多平面重建投影的无损共享可以在 300 KBps带宽下流畅工作；对于多模态断层影像之间的3D-3D快速配准以及同视角交互，可以在1 MBps带宽下完成。其成像质量、原生体验和短时加载性能均得到正面的结论。最终结果显示本研究极大降低了客户端接入的软硬件门槛，有利于医学断层数据集应用范围的扩展，且在知识产权的保护方面有很好的作用。 总之，本研究立足于在非专线连接、非定制用途的移动互联网中，解决断层医学影像数据在普通Web浏览器上快速传播与应用的关键技术，实现一条URL链接即可进行可视化诊断与讨论的目的。意味着用户接入的低成本，影像诊断报告可以跳出静态图像的桎梏，触手可得、即取即用的工作方式成为可能。此外，作为一种辅助手段，本研究可以以一种低成本的形式服务于区域医疗、远程医疗、医学影像教育以及广义的移动医疗范围，对传统的医学 3D 体绘制模式和应用范围进行辅助性扩展，向临床提供研究创新诊断模式的平台，对移动医疗技术的发展能够起到一定的促进作用。

目录

第一个书签之前

缩略语表

Abstract

论文正文 基于移动医疗的连续断层影像2D/3D可视化交互技术研究

第一章 绪 论

1.1 研究背景与意义

1.2 研究现状和发展趋势

1.3 本文的主要研究内容

1.4 论文组织结构

第二章 基于Web的2D医学高分辨率影像的无损共享与白板交流

2.1 背景与目的

2.2 计算方法与理论

2.3 系统构建

2.4 可用性评估与讨论

2.5 结论

第三章 基于Web的3D医学影像“主从”双通道可视化交互技术的研究

3.1 背景与目的

3.2 计算方法与理论

3.3 系统构建

3.4 可用性评估

3.5 讨论与比较

3.6 结论

第四章 基于Web架构的医学2D/3D影像交互技术的整合与优化

4.1 背景与目的

4.2 2D/伪3D集成中间件

4.3 Web3D可视化交互中的信息注释与同步浏览

4.4 基于“一令一动”的Web3D远程渲染交互技术

4.5 可用性评估

4.6 结论

第五章 多模态影像的3D-3D轻量化配准组件研究与Web集成应用

5.1 背景与目的

5.2 方法设计与功能实现

5.3 基于纯净Web架构的多模态影像3D配准

5.4 可用性评估与讨论

5.5 结论

第六章 基于Web2D/3D原型平台的中国可视化人体数据应用研究

6.1 背景与目的

6.2 CVH-2数据集概述

6.3 CVH-2“从”模型的建立

6.4 基于Web2D/3D原型平台的CVH-2直接体绘制应用场景

6.5 基于Web2D/3D原型平台的CVH-2多平面重建应用场景

6.6 基于Web多模态影像3D配准原型平台的CVH-2真彩图与CT数据集快速配准与交互的应用场景

6.7 结论

第七章 总结与展望

7.1 总结

7.2 展望

参考文献

文献综述 基于纯净Web架构的医学影像3D可视化交互技术的研究进展

参考文献

攻读学位期间的研究成果

致 谢