消化道胶囊内窥镜视频的纵览图生成方法

摘要

本发明提供了一种消化道胶囊内窥镜视频的纵览图生成方法。该纵览图生成方法通过将图像进行多次旋转后，在色度和亮度分量上来分别确定图像的最佳色度旋转角度和最佳亮度旋转角度，然后从最佳色度旋转角度和最佳亮度旋转角度中选择最合适的角度对图像进行旋转，最终从按照该角度旋转后的每帧图像沿图像中心线垂直切取像素列进行合并生成纵览图，通过上述方式，本发明能够准确显示消化道的整体状况，可以提高消化道可视区域的显示范围，提高医生对消化道胶囊内窥镜视频的诊断效率，减少消化道可视区域的漏诊。

说明书

技术领域

本发明涉及图像处理技术领域，特别是涉及一种消化道胶囊内窥镜视频的纵览图生成方法。

背景技术

胶囊内窥镜检查是目前消化道疾病检测诊断的一线技术。胶囊内窥镜是一种胶囊形状的用于拍摄人体消化道的微型摄像装置。患者从吞服该胶囊内窥镜到排出体外，胶囊内窥镜在人体内工作约8小时并拍摄大约50000帧图像。胶囊内窥镜检查的主要缺点是：每份视频包含大量的图像，每张图像都要由医生进行人工检查，不仅耗费时间长，而且劳动强度大，并且医生疲劳后容易造成漏诊。因此，采用计算机对胶囊内窥镜视频进行处理来辅助诊断有广泛的市场需求。

现有的胶囊内窥镜视频的计算机分析技术主要是从每帧图像正中心垂直切取一个像素列拼接而成纵览图，纵览图的优点是能够让医生从迅速把握患者的消化道的整体状况，但是纵览图的缺点也很明显，就是由于像素列的切取方向固定，如果视频图像内含有食物掺渣等不可视区域，像素列切取在食物掺渣上，就不能准确显示消化道的整体状况，容易造成漏诊。

发明内容

本发明主要解决的技术问题是提供一种消化道胶囊内窥镜视频的纵览图生成方法，能够准确显示消化道的整体状况。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种消化道胶囊内窥镜视频的纵览图生成方法,包括：S1：将视频的每一帧图像变换到HSV颜色空间后，将每一帧图像绕图像中心点进行多次单位角度的旋转，其中，所述多次单位角度之和为180度；S2：对每一帧图像及其每次旋转后的图像在色度H分量上沿图像中心线垂直切取矩形色度图像块，并对矩形色度图像块进行均值滤波得到色度像素列，以及对每一帧图像及其每次旋转后的图像在亮度V分量上沿图像中心线垂直切取矩形亮度图像块，并对矩形亮度图像块进行均值滤波得到亮度像素列；S3：根据每一帧图像的每个色度像素列的方差值、均值和峰态值计算色度显著值，并将最小色度显著值对应的旋转角度作为最佳色度旋转角度，以及根据每一帧图像的每个亮度像素列的方差值、均值和峰态值计算亮度显著值，并将最小亮度显著值对应的旋转角度作为最佳亮度旋转角度；S4：将每一帧图像按照最佳色度旋转角度进行旋转，在旋转后沿图像中心线垂直切取第一矩形图像块，并在色度分量上计算第一矩形图像块的第一差异值，以及将每一帧图像按照最佳亮度旋转角度进行旋转，在旋转后沿图像中心线垂直切取第二矩形图像块，并在色度分量上计算第二矩形图像块的第二差异值；S5：对每一帧图像的第一差异值和第二差异值进行比较，并统计第一差异值大于第二差异值的图像的第一帧数和第二差异值大于第一差异值的图像的第二帧数；S6：如果第一帧数多于第二帧数，将每一帧图像按照最佳色度旋转角度进行旋转，如果第二帧数多于第一帧数，将每一帧图像按照最佳亮度旋转角度进行旋转；S7：在每一帧图像旋转后沿图像中心线垂直切取像素列，将每一帧图像的像素列进行合并生成纵览图。

优选地，所述单位角度为5-15度。

优选地，所述矩形色度图像块和矩形亮度图像块的高度为图像的高度，所述矩形色度图像块和矩形亮度图像块的宽度为9或11个像素宽度。

优选地，在进行均值滤波时，滤波窗口的大小与矩形色度图像块或矩形亮度图像块的宽度相同。

优选地，所述对矩形色度图像块进行均值滤波得到色度像素列的步骤具体为：对矩形色度图像块的每一行像素进行取均值运算得到色度像素列；所述对矩形亮度图像块进行均值滤波得到色度像素列的步骤具体为：对矩形亮度图像块的每一行像素进行取均值运算得到亮度像素列。

优选地，所述色度显著值和亮度显著值的计算式为：

$>\frac{1}{\sigma \left(c\right)+1}+\sinh \left(\mu \right(c\left)\right)+\sinh \left(\kappa \right(c\left)\right)$>

其中，c为色度像素列或亮度像素列，σ(c)为色度像素列或亮度像素列的方差值，μ(c)为色度像素列或亮度像素列的均值，κ(c)为色度像素列或亮度像素列的峰态值，sinh()为双曲正弦函数。

优选地，所述在色度分量上计算第一矩形图像块的第一差异值的步骤具体为：计算第一矩形图像块上半部分和下半部分的色度直方图的第一欧氏距离，将第一欧氏距离量化为第一差异值；所述在色度分量上计算第二矩形图像块的第二差异值的步骤具体为：计算第二矩形图像块上半部分和下半部分的色度直方图的第二欧氏距离，将第二欧氏距离量化为第二差异值。

优选地，在步骤S1之前，还包括：将视频按照时间顺序进行分段。

区别于现有技术的情况，本发明的有益效果是：可以提高肠腔、肠胃粘膜等消化道可视区域的显示范围，提高医生对消化道胶囊内窥镜视频的诊断效率，减少消化道可视区域的漏诊。

附图说明

图1是本发明实施例消化道胶囊内窥镜视频的纵览图生成方法的流程示意图。

图2是应用本发明实施例的纵览图生成方法得到色度像素列或亮度像素列的示意图。

图3是应用本发明实施例的纵览图生成方法切取像素列和应用现有技术切取像素列的对比示意图。

图4是应用本发明实施例的纵览图生成方法和应用现有技术对含有食物残渣的肠道的图像样本生成纵览图的对比示意图。

图5是应用本发明实施例的纵览图生成方法和应用现有技术对正常肠道的图像样本生成纵览图的对比示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明实施例消化道胶囊内窥镜视频的纵览图生成方法的流程示意图。本实施例的纵览图生成方法包括以下步骤：

S1：将视频的每一帧图像变换到HSV颜色空间后，将每一帧图像绕图像中心点进行多次单位角度的旋转，其中，多次单位角度之和为180度。

其中，胶囊内窥镜视频的图像为RGB空间图像，当变换到HSV颜色空间后，胶囊内窥镜视频的图像变为HSV空间图像。HSV颜色空间具有三个分量，分别是色度H、饱和度S、亮度V分量。

图像中心点为图像的几何中心，图像经过多次旋转后，由于多次单位角度之和为180度，图像就从0度旋转了180度。可选地，单位角度为5-15度。以单位角度为10度为例，图像每次旋转10度，那么需要旋转17次。

在本实施例中，在步骤S1之前，还包括：将视频按照时间顺序进行分段。考虑到胶囊内窥镜视频含有海量的图像，一次处理这么多图像可能对于计算机要求较高，而本实施例通过将将视频按照时间顺序进行分段，以每段视频作为一次处理的数据。

S2：对每一帧图像及其每次旋转后的图像在色度分量上沿图像中心线垂直切取矩形色度图像块，并对矩形色度图像块进行均值滤波得到色度像素列，以及对每一帧图像及其每次旋转后的图像在亮度分量上沿图像中心线垂直切取矩形亮度图像块，并对矩形亮度图像块进行均值滤波得到亮度像素列。

其中，色度像素列和亮度像素列可以是在步骤S2中同时得到的，也可以是在步骤S2中先后得到的。对于每一帧图像及其每次旋转后的图像，通过分别分离出色度H和亮度V两个分量，在分别在色度分量上切取矩形色度图像块并在亮度分量上切取矩形亮度图像块。如图2(a)所示，图(a)中的图像表示肠道，该图像经过旋转后，沿图像中心线垂直切取了矩形色度图像块或矩形亮度图像块(见图中白色线条矩形框所示)。

由于图像的最小单位是像素，因此矩形色度图像块和矩形亮度图像块的每行每列均由像素组成，可选地，矩形色度图像块和矩形亮度图像块的高度为图像的高度，矩形色度图像块和矩形亮度图像块的宽度可以为9或11个像素宽度。

通过在像素级上进行均值滤波即可得到色度像素列和亮度像素列。在本实施例中，对矩形色度图像块进行均值滤波得到色度像素列的步骤具体为：对矩形色度图像块的每一行像素进行取均值运算得到色度像素列。对矩形亮度图像块进行均值滤波得到色度像素列的步骤具体为：对矩形亮度图像块的每一行像素进行取均值运算得到亮度像素列。可选地，在进行均值滤波时，滤波窗口的大小与矩形色度图像块或矩形亮度图像块的宽度相同。如图2(b)所示，图(b)中的矩形框表示矩形色度图像块或矩形亮度图像块，通过对矩形框每一行像素进行取平均值即可得到一列像素(见图中右方竖线)，该列像素即为色度像素列或亮度像素列。

S3：根据每一帧图像的每个色度像素列的方差值、均值和峰态值计算色度显著值，并将最小色度显著值对应的旋转角度作为最佳色度旋转角度，以及根据每一帧图像的每个亮度像素列的方差值、均值和峰态值计算亮度显著值，并将最小亮度显著值对应的旋转角度作为最佳亮度旋转角度。

其中，色度显著值和亮度显著值可以是在步骤S3中同时得到的，也可以是在步骤S3中先后得到的。

在本实施例中，色度显著值和亮度显著值的计算式为：

$>\frac{1}{\sigma \left(c\right)+1}+\sinh \left(\mu \right(c\left)\right)+\sinh \left(\kappa \right(c\left)\right)$>

在该计算式中，c为色度像素列或亮度像素列，σ(c)为色度像素列或亮度像素列的方差值，μ(c)为色度像素列或亮度像素列的均值，κ(c)为色度像素列或亮度像素列的峰态值，sinh()为双曲正弦函数。也就是说，如果c为色度像素列，则得到的是色度显著值；如果c为亮度像素列，则得到的是亮度显著值。

由于每一帧图像要旋转多次，每一帧图像及其旋转后的图像都有对应的色度像素列和亮度像素列，那么每一帧图像就有多个色度像素列和多个亮度像素列，通过该计算式计算后，每一帧图像就有多个色度显著值和多个亮度显著值，其中，最小色度显著值和最小亮度显著值表示对应的矩形色度图像块和矩形亮度图像块包含了的图像内容最丰富，也就是说，矩形色度图像块和矩形亮度图像块可能同时包含有肠腔、肠道粘膜等区域，所以，最小色度显著值和最小亮度显著值对应的旋转角度就为最佳色度旋转角度和最佳亮度旋转角度。应当注意的是，最佳色度旋转角度和最佳亮度旋转角度为单位角度的倍数，假设单位角度为10度，最小色度显著值为图像旋转3次后得到，那么最小色度显著值对应的旋转角度为60度，是单位角度的6倍。

S4：将每一帧图像按照最佳色度旋转角度进行旋转，在旋转后沿图像中心线垂直切取第一矩形图像块，并在色度分量上计算第一矩形图像块的第一差异值，以及将每一帧图像按照最佳亮度旋转角度进行旋转，在旋转后沿图像中心线垂直切取第二矩形图像块，并在色度分量上计算第二矩形图像块的第二差异值。

其中，虽然每一帧图像分别按照最佳色度旋转角度和最佳亮度旋转角度进行了旋转，但是第一差异值和第二差异值时都是在色度分量上计算得到。第一差异值和第二差异值可以是在步骤S3中同时得到的，也可以是在步骤S3中先后得到的。

在本实施例中，在色度分量上计算第一矩形图像块的第一差异值的步骤具体为：计算第一矩形图像块上半部分和下半部分的色度直方图的第一欧氏距离，将第一欧氏距离量化为第一差异值；在色度分量上计算第二矩形图像块的第二差异值的步骤具体为：计算第二矩形图像块上半部分和下半部分的色度直方图的第二欧氏距离，将第二欧氏距离量化为第二差异值。由于欧氏距离越大，图像的视觉差异越大，因此图像的差异值就越大。通过将第一欧氏距离和第二欧氏距离进行量化，即可得到第一差异值和第二差异值。

S5：对每一帧图像的第一差异值和第二差异值进行比较，并统计第一差异值大于第二差异值的图像的第一帧数和第二差异值大于第一差异值的图像的第二帧数。

其中，第一差异值大于第二差异值，表示更适宜采用最佳色度旋转角度旋转图像，第一差异值小于第二差异值，表示更适宜采用最佳亮度旋转角度旋转图像。

S6：如果第一帧数多于第二帧数，将每一帧图像按照最佳色度旋转角度进行旋转，如果第二帧数多于第一帧数，将每一帧图像按照最佳亮度旋转角度进行旋转。

其中，通过统计第一帧数和第二帧数，能够从总体上反应视频的图像应该采用最佳色度旋转角度进行旋转还是应该采用最佳亮度旋转角度进行旋转。

S7：在每一帧图像旋转后沿图像中心线垂直切取像素列，将每一帧图像的像素列进行合并生成纵览图。

其中，当最佳色度旋转角度或最佳亮度旋转角度确定后，由于每一帧图像按照最佳亮度旋转角度进行旋转，在旋转后切取到的像素列所代表的内容就比较理想。参见图3，图中(a)表示应用现有技术切取像素列的示意图，由图可知，应用现有技术切取到的像素列(图中白色线条)全部落在肠道粘膜上，而没有涵盖肠腔；而图中(b)表示应用本发明实施例的纵览图生成方法切取像素列的示意图，由图可知，应用本发明实施例的纵览图生成方法切取到的像素列(图中白色线条)始终都涵盖肠腔和肠道粘膜。

纵览图可以反映消化道几十到几万张图像的整体状况，经过步骤S7之后生成纵览图不论是对于含有食物掺渣的肠道图像还是正常的肠道图像，都能够准确显示消化道的整体状况，也就是能够清晰地显示肠道的肠腔及肠腔所占区域的大小。参见图4，图中(a)为一组含有食物残渣的肠道的图像样本，图中(b)为应用现有技术生成的纵览图，由图可知，该纵览图无法显示出没有被食物残渣占据的肠道黏膜区域；图中(c)为应用本发明实施例的纵览图生成方法生成的纵览图，由图可知，该纵览图可以显示出没有被食物残渣占据的肠道黏膜区域，该肠道黏膜区域集中在纵览图的下方区域。

进一步地，参见图5，图中(a)为一组正常肠道的图像样本，图中(b)为应用现有技术生成的纵览图，由图可知，该纵览图无法显示肠道含有肠腔；图中(c)为应用本发明实施例的纵览图生成方法生成的纵览图，由图可知，该纵览图不仅可以显示肠道含有肠腔，还可以清楚地显示肠腔在肠道中所占区域的大小，该肠腔形成在纵览图的中间区域。

通过上述方式，本发明实施例的消化道胶囊内窥镜视频的纵览图生成方法通过将图像进行多次旋转后，在色度和亮度分量上来分别确定图像的最佳色度旋转角度和最佳亮度旋转角度，然后从最佳色度旋转角度和最佳亮度旋转角度中选择最合适的角度对图像进行旋转，最终从按照该角度旋转后的每帧图像沿图像中心线垂直切取像素列进行合并生成纵览图，从而能够准确显示消化道的整体状况，并且得到的纵览图可以提高肠腔、肠胃粘膜等消化道可视区域的显示范围，提高医生对消化道胶囊内窥镜视频的诊断效率，减少消化道可视区域的漏诊。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。