一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统

摘要

本发明涉及一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统，包括通过腹腔镜将实时采集的图像输入到人工智能计算机模型中进行处理，获取手术要素的量化数据；将手术要素输入到安全手术模型中进行分析，输出降低医源性胆道损伤的指导要素解剖结构实时标记和CVS实时评分；手术医生根据所述解剖结构实时标记和CVS实时评分的指示进行手术操作。本发明与目前市面上使用的腹腔镜机器结合使用，提供重要术中解剖信息、CVS完成情况的智能评估及反馈，在教学医院中可帮助住院医生、专科医生树立术中安全操作意识，培养规范化手术技巧；在基层医院或医疗欠发达地区，也可实现专家技术的输出，辅助当地医生安全高效地完成手术。

说明书

技术领域

在本发明涉及图像识别处理技术领域，尤其涉及一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统和系统。

背景技术

胆囊切除术，是目前全球普外科医生开展得最多的手术之一。随着微创技术的不断发展与普及，腹腔镜胆囊切除术已成为各类有症状胆囊结石/息肉治疗的“金标准”。然而，无论是在开腹手术时代还是腹腔镜手术时代，医源性胆道损伤（biliary duct injury，BDI）仍然是所有普外科医生挥之不去的难题。据数据统计，美国每年约有七十五万到一百万人接受胆囊切除术，而中国每年接受胆囊切除术的患者超过三百万。研究数据显示，腹腔镜胆囊切除的术中胆道损伤发生率约在0.3%-0.5%左右。

医源性胆道损伤产生的主要原因有以下三个方面：1、手术技术与经验：部分年轻医生在自己独立开展腹腔镜胆囊切除术的时候，没有形成良好的手术安全意识与习惯，一旦遇到术中复杂情况（炎症、出血、粘连）的时候，操作时往往顾此失彼，发生误损伤；2、解剖学变异：胆道系统错综复杂，少数患者存在各类解剖变异造成手术难度增加，医生因思维惯性对胆管走形发生认知偏差造成损伤；3、病理类型：对于胆囊结石继发急性胆囊炎的患者，伴随组织充血水肿以及炎症粘连，导致手术难度增加，这也成为胆道损伤的高危因素之一。而目前降低胆道损伤的方法主要是通过专家经验，这需要医生长时间的积累才能达到，但是在现实生活中大部分医生的实际经验是不足的，因此，如何通过人工智能的方式来实现在胆囊切除术的过程中对胆道损伤的降低，是现阶段急需解决的问题。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统，解决了现有胆囊切除术手术只能依靠专家经验进行判断存在的不足。

本发明的目的通过以下技术方案来实现：一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统，所述智能辅助方法包括：

步骤一、通过已标注数据训练得到用于识别手术要素的人工智能计算机模型和基于医学应用的安全手术模型，其中安全手术模型基于人工智能计算机模型获得的手术要素建立；

步骤二、通过腹腔镜将实时采集的图像输入到人工智能计算机模型中进行处理，获取手术要素的量化数据；

步骤三、将手术要素输入到安全手术模型进行分析，输出影响降低医源性胆道损伤的指导要素解剖结构实时标记和CVS实时评分；

步骤四、根据所述解剖结构实时标记和CVS实时评分的指示进行手术操作，并在手术过程中实时提示。

所述手术要素包括：手术器械、解剖结构、手术阶段和CVS评分；基于不同手术阶段，手术器械、解剖结构、CVS评分之间的关系，并结合手术各阶段时长、总时长和现有手术经验，建立基于医学应用的安全手术模型。

所述人工智能计算机模型构建步骤包括：

收集腹腔镜手术视频并对图片和视频进行标注，得到手术标注数据库；

根据手术标注数据库中的手术器械标注数据、解剖结构标注数据、CVS评分标注数据和手术阶段标注数据分别通过YOLO v4算法、EfficientNet算法和ResNet+LSTM构建手术器械检测模型、解剖结构检测模型、CVS评分模型和手术阶段识别模型。

所述安全手术模型构建步骤包括：

根据所述人工智能计算机模型构建步骤得到的手术器械检测模型、解剖结构检测模型、CVS评分模型和手术阶段识别模型识别手术要素；

结合专家经验、指南和论著构建胆囊切除术解剖结构、胆囊切除术器械使用、胆囊切除术阶段关系、胆囊切除术手术时长计算和CVS评分数值关系的安全手术模型。

所述收集腹腔镜手术视频并对图片和视频进行标注，得到手术标注数据库包括：

A1、通过FFmpeg软件对手术视频按照每秒1帧的规则进行抽取得到手术图片库，并通过Labelme软件对抽帧后的图片进行解剖结构、CVS评分和手术器械的人工标注；

A2、将手术视频通过FFmpeg按照统一格式进行转码得到手术视频库，并对视频中的各个手术阶段进行标注；

A3、根据A1步骤和A2步骤得到的标注数据建立手术标注数据库。

所述解剖结构包括胆囊管、胆囊动脉、胆总管和胆囊床、肝胆三角区域；CVS评分相关区域包括肝胆三角区域、胆囊床下三分之一区域以及胆囊管/胆囊动脉两管道区域；所述手术器械包括戳卡、无伤抓钳、电勾、施夹器、可吸收夹、铁夹、马里兰钳、纱布、直分离钳、剪刀、大抓钳、分离钳、标本袋、穿刺针、吸引器、电凝、引流管和波浪钳；所述手术阶段包括建立气腹阶段、松解粘连阶段、分离肝胆三角阶段、游离胆囊床阶段、清理术区阶段和取出胆囊阶段。

所述根据手术标注数据库中的手术器械标注数据、解剖结构标注数据、CVS评分标注数据和手术阶段标注数据分别通过YOLO v4算法和ResNet+LSTM构建手术器械检测模型、解剖结构检测模型、CVS评分模型和手术阶段识别模型包括：

根据所述手术器械标注数据、解剖结构标注数据和CVS评分标注数据通过YOLO v4算法构建手术器械检测模型和解剖结构检测模型；

根据CVS评分标注数据通过EffcientNet构建CVS评分模型。

根据所述手术阶段标注数据通过ResNet+LSTM构建手术阶段识别模型。

所述手术器械检测模型的检测识别步骤包括：检测图片中出现的各种器械，并对这些检测出的器械进行互斥处理；所述互斥处理包括直分离钳、分离钳和马里兰钳只有可能同时出现一种；施夹器和剪刀不可能同时出现；无伤抓钳和波浪钳不可能同时出现；电勾、施夹器、剪刀、大抓钳、吸引器、电凝只可能同时出现一次；

所述解剖结构检测模型的检测识别步骤包括：检测图片中出现的各种解剖结构，对检测结果进行同种解剖结构同时只可能出现一个的互斥处理；

所述CVS评分模型的评分步骤包括：将需要评分的图片放入EfficientNet网络中，对CVS完成度进行分。

所述手术阶段识别模型的检测识别包括：

将n帧连续的图片放入ResNet网络中进行特征提取，获得特征向量；

将多个特征向量放入LSTM网络中，进行连续图片中最后一张图的阶段识别，然后将到目前为止的所有阶段进行阶段后处理。

所述阶段后处理包括：

滑动窗口去噪，并根据持续时长去噪；

在第一次同类阶段之间的识别过程中将不是任何阶段的部分补充为相邻阶段后进行夹逼去噪；

根据专家意见调整出现在异常位置的阶段；

将识别为无阶段的部分替换成前一时刻的阶段。

一种基于降低腹腔镜胆囊切除术胆道损伤的智能辅助方法的系统，所述系统包括：

图像获取模块，其配置来获取腹腔镜胆囊切除术视频流，得到视频帧序列；

器械检测模块，其配置来利用CSPDarkNet网络进行特征提取，得到的特征图作为后续的侦测网络的输入，最后得到对应视频帧中出现的器械种类；

器官检测模块，其配置来利用CSPDarkNet网络进行特征提取，得到的特征图作为后续的侦测网络的输入，最后得到对应视频帧中出现的器官位置；

解剖要素区域检测模块，其配置来利用CSPDarkNet网络进行特征提取，得到的特征图作为后续的侦测网络的输入，最后得到对应视频帧中出现的解剖要素区域位置。

CVS评分模块，其配置来利用CNN卷积组成的网络进行提取图像特征，得到的特征图作为后续的全连接网络的输入，最后得到对应视频帧中CVS的评分；

阶段识别模块，其配置来利用ResNet网络通说对N张图像进行特征提取，得到的特征图作为后续长短时记忆网络的输入，最后得到第N张图片处于的手术阶段；

系统输出模块，该模块通过显示屏幕对各类信息进行输出，包括目前的手术阶段、正在使用的手术器械、正确的解剖结构、CVS评分情况。

本申请具有以下有益效果：

1.本申请采用人工智能计算机模型识别手术器材、解剖结构、手术阶段和实时的手术中安全视野的暴露情况等关键手术要素，同时收集和固化进行安全手术的多维度要求建立安全手术模型。两模型均采用深度神经网络建立，在实际手术操作过程中，将提取到的关键手术要素和手术安全模型进行计算匹配，手术过程中实时计算，并以图文形式是进行提示，有效的辅助外科医生提高手术安全性。

2.医生在手术过程中，对解剖结构识别不准确和对手术过程的理解差异，可能导致错误的决策，造成手术损伤。本申请创造性的将手术器材、解剖结构、手术阶段和实时的手术中安全视野的暴露情况作为识别对象，采用人工智能深度学习的方法对以上信息进行量化分析，并通基于医学应用的安全手术模型， 指示正确的解剖位置，引导手术操作，提示术中可能存在的风险，降低手术损伤的概率。

此外，本发明可以在手术过程中在线实时使用，或在手术完成后离线对手术视频进行安全评估使用。在教学医院中，本发明可以帮助住院医生、专科医生树立术中安全操作意识，培养规范化手术技巧；在基层医院或医疗欠发达地区，本发明可实现“专家技术”的输出，辅助当地医生安全高效地完成手术。

附图说明

图1 为本发明的流程示意图；

图2 为数据标注流程示意图；

图3 为人工智能计算机模型构建流程示意图；

图4 为YOLOv4 算法模型结构示意图；

图5 为EfficientNet算法模型结构示意图；

图6为ResNet+LSTM算法模型结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，本发明涉及一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统，其具体包括以下内容：

收集腹腔镜手术视频并对图片和视频进行标注，得到手术标注数据库；通过已标注数据训练得到用于识别手术要素的人工智能计算机模型和基于医学应用的安全手术模型，其中安全手术模型基于人工智能计算机模型获得的手术要素建立；

根据手术标注数据库中的手术器械标注数据、解剖结构标注数据、CVS（手术安全视野）评分标注数据和手术阶段标注数据分别通过YOLO v4算法和ResNet+LSTM构建手术器械检测模型、解剖结构检测模型、CVS评分模型和手术阶段识别模型等人工智能计算机模型；

根据人工智能计算机模型构建步骤得到的手术器械检测模型、解剖结构检测模型、CVS评分模型和手术阶段识别模型识别手术要素；

结合专家经验、指南和论著构建胆囊切除术解剖、胆囊切除术器械使用、胆囊切除术阶段关系、胆囊切除术手术时长计算和CVS评分数值关系的安全手术模型；

通过腹腔镜将实时采集的图像输入到人工智能计算机模型中进行处理，获取手术要素的量化数据；

将手术要素输入到安全手术模型进行分析，输出影响降低医源性胆道损伤的指导要素解剖结构实时标记和CVS实时评分；其中，解剖结构实时标记包括囊动脉，胆囊管，胆囊床，胆总管结构，肝胆三角区域的实时标记；CVS实时评分包括实时计算CVS显露情况，包括胆囊三角的暴露情况，胆囊床的游离情况，胆囊与管道的连接情况，并予以评分；

根据所述解剖结构实时标记和CVS实时评分的指示进行手术操作，在未完成CVS的情况下，系统给予操作者红灯提示，完成CVS后给予绿灯提示。如果在未完成CVS情况下，系统侦测到离断操作相关器械（施夹器、可吸收夹），系统发出声音予以警告。

如图2所示，视频收集的标注按照每个手术视频要求分辨率不低于720*560且每秒不低于25帧的要求进行收集；对收集完成的图片采用如下流程进行标注，标注主要内容为重要解剖结构、CVS评分标准、器械与手术阶段。

在解剖结构、CVS评估与手术器械部分，使用FFmpeg软件对所有手术视频按照每秒1帧的规则进行抽取。然后，应用Labelme软件对抽帧后的得到的图片进行解剖结构、CVS评分与手术器械的人工标注。其中解剖结构标注包括胆囊管、胆囊动脉、胆总管、胆囊床、肝胆三角区域五个结构；CVS评分相关区域包括肝胆三角区域、胆囊床下三分之一区域以及胆囊管和胆囊动脉两管道区域，同时根据CVS的国际标准，对CVS不同完成情况进行评分。

手术器械标注有戳卡，无伤抓钳，电勾，施夹器，可吸收夹，铁夹，马里兰钳，纱布，直分离钳，剪刀，大抓钳，分离钳，标本袋，穿刺针，吸引器，电凝，引流管，波浪钳共计18种手术器械。

在手术阶段部分，所有手术视频均通过FFmpeg软件统一转码成mpeg-4格式。视频分阶段标注使用Anvil Video Annotation Research Tool软件进行标注，其中手术阶段根据前期定义与后期实际应用需要分为：1. 建立气腹；2. 松解粘连；3. 分离肝胆三角；4.游离胆囊床；5. 清理术区；6. 取出胆囊六个部分。人工标注完阶段后，同样通过FFmpeg软件每秒抽帧进行训练。所有部分的人工标注与评分由6个经过前期培训合格的肝胆胰外科专科医师负责质量控制，不合格的标注与评分将被返回修改，合格标注会用做后续机器学习数据。

如图3所示，人工智能计算机模型主要有解剖结构、CVS显露评分、器械与手术阶段的机器学习模型。上述标注完成解剖结构、CVS显露评分、手术器械与手术阶段数据分别按照8:1:1的比例随机分配进入训练集、验证集与测试集。所有模型均使用Anaconda、QtCreator平台进行开发，图像处理使用NVIDIA Tesla V100图形处理器。

如图4所示，其中YOLOv4首先使用了CSPDarkNet53网络提取图像特征，最后通过三次连续的上采样实现在多个尺度下的目标检测，侦测过程中模型还使用SPP-block、SAM-block和PAN path-aggregation block。在模型训练过程中采用了Mosaic dataaugmentation、DropBlock regularization、Multiinput weighted residualconnections、CIoU Loss、CmBN、Cosine annealing scheduler、Random training shapes/Dynamic mini-batch size和DIoU-NMS。

CSPDarkNet特征提取网络由Conv-BN-Mish模块、Residual模块和CSP模块组成。Conv-BN-Mish模块由一个卷积层、一个批归一化层、一个Mish激活函数组成；Residual模块用于将不同层级的计算结果进行张量加和计算，一个Residual模块包含1个、2个、4个或8个Conv-BN-Mish模块；CSP模块用于将同一特征图进行不同的两次计算，一次是仅通过一个大小为1*1的卷积核的卷积计算，另一次是首先通过一个卷积核大小为1*1卷积计算然后通过1个或多个Residual模块计算，最后将这两次计算的结果进行拼接；Mish激活函数用来使增加模型非线性性能。

CSP模块表示的是一种数据流动，由于卷积网络计算是使用张量的点乘，输入的维度有4个N、C、H和W，所表达的意思依次是输入图片数、图片通道数、图片高度、图片的宽度，而CSP模块将会把两个形状分别为N、C1、H、W和N、C2、H、W张量拼接为N、C1+C2、H、W作为输出，这种在张量上操作，拼接多个数组，在一个维度上进行扩充的操作下面将简称通道拼接。

上式卷积计算公式，其中y表示卷积计算输出，n表示神经元个数，w

上式为批归一化层计算公式，其中BN表示批归一化计算输出，x表示输入数据，

上式为Mish激活函数公式，其中MA表示Mish激活函数计算输出，x表示输入数据。

上式为Residual模块计算公式，其中

上采样表示为输入一个N、C、H1、W1的张量经过卷积计算得到N、C、H2、W2的张量，其中H1

Mosaic data augmentation是一种数据增强方式，首先随机选择一张图，在图中随机选一个区域，接下来再随机选择三张图，宽高根据上一张图确定，最后将这几张图拼接成一个正方形作为网络的输入；、DropBlock regularization是Dropout的改进版，DropBlock将会在网络计算中随机忽略网络计算特征图中的一个或多个矩形区域；、Multiinput weighted residual connections表示双向跨尺度连接和加权特征融合，即会使用更深层的网络特征图为更浅层的网络特征图进行加权，最后和没有加权同层的特征图进行；CIoU Loss表示为一种损失计算方式，是计算侦测的矩形框和标签的矩形框的IoU和中心店偏移量以及目标和预测结果的宽高比；CmBN是能够在小型机器上面进行大批量的图片训练，通过多次小批量的图片训练组成一个大批量数据进行训练、Cosine annealingscheduler、Random training shapes/Dynamic mini-batch size表示每1000次迭代输入图片大小不一定相同在（416，608）中选择；DIoU-NMS用来判断两个矩形框的匹配程度。

其表示Multiinput weighted residual connections的整体，其中，

上式CIoU损失计算公式，其中

上式表示DIoUNMS计算公式，其中

上式表示当前学习率计算公式，其中

手术器械检测模型首先使用YOLOv4算法模型检测图片中出现的器械，接下来对这些检测出的器械进行互斥处理，包括：直分离钳、分离钳和马里兰钳只有可能能同时出现一种；施夹器和剪刀不可能同时出现；无伤抓钳和波浪钳不可能同时出现；电勾、施夹器、剪刀、大抓钳、吸引器、电凝可能同时出现一次。最后通过上述处理确定当前图片中出现了哪些器械。

解剖结构解构模型同样，首先使用YOLOv4算法模型检测图片中出现的解剖结构，接下来对这些检测结果进行互斥处理：同种解剖结构同时只可能出现一个。

CVS评分模型，将需要评分的图片放入EfficientNet网络中，对CVS完成度进行分。

如图5所示，其中的EfficientNet网络与YOLOv4所有的模块一样，只是组成结构不尽相同。其中损失函数在EfficientNet网络中选择MSE损失，激活函数为ReLU和Swish。

上式表示MSE损失计算公式，其中m表示输入的所有CVS评分区域；

上式表示ReLU激活函数的公式，其中x表示输入张量，

上式表示Swish激活函数的公式，其中x表示输入数据；β表示常数或者可训练的参数；e表示自然常数。

如图6所示，手术阶段识别模型使用基于CNN的ResNet进行机器学习，同时为了提高学习效果，长短记忆网络（long-short term memory，LSTM）也被应用于阶段学习中；ResNet网络使用的模块也与YOLOv4和EfficientNet网络一样，同样是组成结构不尽相同。LSTM长短时记忆网络用以下处理带有时序信息的数据。

上式表示LSTM网络中一个单元的计算公式，其中h

在手术阶段算法模型中，首先将n帧连续的图片放入ResNet网络中进行特征提取，获得特征向量；接下来将多个特征向量放入LSTM中，进行连续图片中最后一张图的阶段识别，然后将到目前为止的所有阶段进行阶段后处理。

其中，阶段后处理包括：

滑动窗口去噪，并根据持续时长去噪；

在第一次同类阶段之间的识别过程中将不是任何阶段的部分补充为相邻阶段后进行夹逼去噪；进行夹逼去噪，即中间某一阶段长度同时小于相邻两阶段长度的百分比阈值，则删除中间阶段。

根据专家意见调整出现在异常位置的阶段；具体为：除取出胆囊和清理术区后面的游离胆囊三角和游离胆囊床；删除游离胆囊三角前的清理术区；删除游离胆囊三角后的分离粘连；

将识别为无阶段的部分替换成前一时刻的阶段。

本发明的另一实施例涉及一种基于降低腹腔镜胆囊切除术胆道损伤的智能辅助方法的系统，其特征在于：其包括：

图像获取模块，其配置来获取腹腔镜胆囊切除术视频流，得到视频帧序列；

器械检测模块，其配置来利用CSPDarkNet网络进行特征提取，得到的特征图作为后续的侦测网络的输入，最后得到对应视频帧中出现的器械种类；

器官检测模块，其配置来利用CSPDarkNet网络进行特征提取，得到的特征图作为后续的侦测网络的输入，最后得到对应视频帧中出现的器官位置；

解剖要素区域检测模块，其配置来利用CSPDarkNet网络进行特征提取，得到的特征图作为后续的侦测网络的输入，最后得到对应视频帧中出现的解剖要素区域位置。

CVS评分模块，其配置来利用CNN卷积组成的网络进行提取图像特征，得到的特征图作为后续的全连接网络的输入，最后得到对应视频帧中CVS的评分；

阶段识别模块，其配置来利用ResNet网络通说对N张图像进行特征提取，得到的特征图作为后续长短时记忆网络的输入，最后得到第N张图片处于的手术阶段。

系统输出模块，该模块通过显示屏幕对各类信息进行输出，包括目前的手术阶段、正在使用的手术器械、正确的解剖结构、CVS评分情况等。

本发明系统中的各个模块都是用于实现本发明方法中对应的方法步骤的内容，其具体也包括本发明方法对应的操作步骤。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。