一种温室蔬菜病害监控视频关键帧提取方法即提取系统

摘要

本发明公开了一种温室蔬菜病害监控视频关键帧提取方法及提取系统，该发明将视觉显著性与在线聚类算法相结合，首先利用X2直方图法进行帧间差异度量，剔除具有相似特征的视频帧图像对算法计算量的影响；其次将视频帧图像转到HSV颜色空间，结合温室蔬菜监控视频的特点，利用H、S通道计算视觉显著图，提取视频帧图像中的显著性区域，然后利用形态学方法对显著性区域中可能丢失的病斑信息进行修复；最终利用在线聚类算法和像素帧平均算法实现关键帧提取。该方法可以有效的获取温室蔬菜监控视频中病害的信息，为温室蔬菜病害的准确识别奠定坚实的基础。该发明得与图像处理、模式识别等技术结合的基础上，会在设施蔬菜病害识别方面有很大的贡献。

说明书

技术领域

本发明涉及视频分析与图像处理技术领域，更具体涉及一种温室 蔬菜病害监控视频关键帧提取方法及提取系统。

背景技术

病害是制约我国温室蔬菜生产可持续发展的重要因素，作物病害 现象造成温室蔬菜的品质下降，影响其质量和经济效益，造成难以估 量的损失。因此，有效防治病害是确保蔬菜生产安全、提高蔬菜产量 和质量的根本保证，病害防治的关键是能够准确地识别病害。

随着视频监控技术的发展，越来越多的设施农业现场都已经配备 了视频监控摄像头，帮助农民实施掌握设施农业现场的状况以及农作 物的生长情况。这些海量监控视频信息记录了设施蔬菜病害的特征信 息，具有重要的价值，应用提取温室蔬菜监控视频关键帧的方法来呈 现温室蔬菜监控视频中的病害信息，有助于病害的准确识别和防治， 不但可以节约人力、物力，而且有效降低病害对设施农业造成的损失， 具有重要的意义。

近年来，关于视频关键帧提取的研究有很多，常用方法有以下几 种：

(1)基于镜头边界的关键帧提取方法，其主要原理是将每个镜头 的第一帧、最后一帧或者视频中间位置的任意一帧作为关键帧。

(2)基于帧图像信息的关键帧提取算法，其主要思想是选择视频 镜头的第一帧为关键帧，依次计算后续每一帧与第一帧的距离，当距 离大于一个设定的阈值时，取该帧为新的关键帧，重复计算后续帧与 该关键帧的距离直到视频镜头的最后一帧。

(3)基于运动检测的关键帧提取算法，其主要思想是通过提取运 动特征，在运动特征值取局部最小值时，提取关键帧。

(4)基于聚类的关键帧提取算法。基于聚类的关键帧提取算法的 基本思想是：首先根据视频帧图像中的某一特征信息确定初始聚类中 心，然后计算每一帧与聚类中心的距离，若距离小于预先设定的阈值T， 则将该帧归为这一类，若距离大于预先设定的阈值T，则确定该帧为新 的聚类中心。

通过分析发现，温室蔬菜监控视频具有以下特点：监控画面以亮 度变化为主；监控摄像头的运动特征为慢速运动与静止结合，镜头内 容不存在快速变化，镜头内不存在局部运动；视频对象单一，主体只 有农作物。如何将视频关键帧提取的方法与温室蔬菜监控视频的特点 结合，面向温室蔬菜病害识别的需求，提出相应的关键帧提取算法是 亟待解决的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何实现从温室蔬菜监控视频中获取 包含病害信息的关键帧图像。

(二)技术方案

为了解决上述技术问题，本发明提供了一种温室蔬菜病害监控视 频关键帧提取方法，所述方法包括以下步骤：

S1、将监控视频解析为帧序列，并对每一帧进行增强处理；

S2、识别摄像头的运动状态；

S3、将步骤S1所述的帧序列中每一帧图像从RGB颜色空间转为 HSV颜色空间；

S4、计算步骤S3得到的HSV帧图像的视觉显著图，并提取显著 性区域；

S5、将步骤S4得到的所述显著性区域进行在线聚类；

S6、根据步骤S5的聚类结果，选择每一类中的关键帧。

优选地，所述步骤S2中，采用X²直方图法计算每一帧图像与第 一帧图像的相似度，识别摄像头运动状态。

优选地，所述步骤S4中计算步骤S3得到的HSV帧图像的视觉显 著图的具体方法为：

S401、结合温室蔬菜监控视频的特点，利用两个参数a和b修正 IG算法，修正后的模型为公式(9)

S(x，y)＝a*||I_S-I_S(x，y)||+b*||I_H-I_H(x，y)||    (9)

其中，I_H、I_S分别表示步骤S3得到的HSV图像模型的H通道的 平均值和S通道平均值，I_H(x,y)、I_S(x,y)表示所述H通道经过高斯滤 波后的对应值和所述S通道经过高斯滤波后的对应值，||||为欧氏距离， a的值小于零，b的值小于或等于1；

S402、利用HSV帧图像的显著性区域与背景之间的显著性比率来 确定参数a和b的数值，计算公式为公式(10)，然后利用公式(9) 计算步骤S3得到的HSV帧图像的视觉显著图；

$R=\frac{\frac{1}{M}\underset{i-1}{\overset{M}{\Sigma }}S(x,y)}{\frac{1}{N}\underset{j-1}{\overset{N}{\Sigma }}S(x,y)}---\left(10\right)$

其中，R为显著性比率，M为显著性区域中像素点个数，N为背 景中像素点的个数，S(x,y)为对应点的显著性值；

所述步骤S4中，提取显著性区域具体方法为：

S403、在所述步骤S402中计算出的HSV帧图像的视觉显著图的 基础上选择自适应阈值，实现初步显著性区域的提取；

S404、用组和形态学方法在步骤S403得到的初步显著性区域的基 础上进行丢失病斑信息的恢复，实现完整的显著性区域的提取。

优选地，步骤S5中，采用H分量直方图信息作为描述特征，对所 述步骤S4计算出的显著性区域进行在线聚类，实现显著性区域的分类。

优选地，步骤S6中，采用像素帧平均的方法，选择每一类中的关 键帧。

一种温室蔬菜病害监控视频关键帧提取系统，所述系统包括：

视频解析模块，对输入的视频数据进行解析，将其分解为帧序列， 并对每一帧图像进行小波增强处理；

摄像头运动状态识别模块，将帧序列的每一帧与第一帧图像做相 似性计算，识别摄像头的运动状态，剔除摄像头处于静止状态时获取 的多余帧图像；

显著图计算模块，利用HSV帧图像的显著性区域与背景之间的显 著性比率来确定参数的数值，从而利用修正的IG显著性计算模型，计 算HSV帧图像的视觉显著图；

显著性区域提取模块，在HSV帧图像的视觉显著图的基础上，利 用自适应阈值提取初始显著性区域，利用组和形态学运算，修复初始 显著性区域中丢失的病斑信息，形成完整的显著性区域。

在线聚类模块，对完整的显著性区域进行聚类运算，输出聚类的 结果；

关键帧选择模块，采用像素帧平均算法，从每一类中选择关键帧。

优选地，所述显著性区域提取模块包括：

初始显著性区域提取模块，在计算出的HSV帧图像的视觉显著图 的基础上选择自适应阈值，实现初步显著性区域的提取；

病斑信息修复模块，用组和形态学方法在步显著性区域的基础上 进行丢失病斑信息的恢复，实现完整显著性区域的提取。

(三)有益效果

本发明提供了一种温室蔬菜病害监控视频关键帧提取方法及提取 系统，本发明的方法和系统，充分考虑到了温室蔬菜监控视频的特点， 针对特点对传统算法进行了修正，因此实现了更准确的从温室蔬菜监 控视频中提取包含病害信息的关键帧图像，为蔬菜病害的识别奠定坚 实的基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。

图1为本发明的一个较佳实施例的一种温室蔬菜病害监控视频关 键帧提取方法的流程图；

图2为本发明的一个较佳实施例的一种温室蔬菜病害监控视频关 键帧提取方法中的参数a和b的选取结果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。以下实施例 用于说明本发明，但不能用来限制本发明的范围。

本发明提出了一种温室蔬菜病害监控视频关键帧提取方法及提取 系统，本发明的方法融合了视觉显著性与聚类算法，其流程如图1所示：

第一步：将监控视频解析为帧序列，并对每一帧进行增强处理；

第二步：摄像头运动状态识别

摄像头运动状态识别采用帧间差异度量的方法。帧间差异度量就 是计算两幅帧图像的相似程度，直方图信息是图像的一种统计特征， 可以忽略目标对象形式变化所产生的影响，是目前最应用最广泛的方 法之一。假设两幅图片为I₁,I₂，为相应的直方图为，则帧 差D(I₁,I₂)计算方法如下：

$D(I_1,I_2)=\frac{1}{2N}\underset{i}{\Sigma }|H_{I_1}\left(X\right)-H_{I_2}\left(X\right)|---\left(1\right)$

N为图像帧像素的总数，为了进一步放大最大帧差，增强算法比 较稳定，本研究采用X²直方图的方法来计算帧差，其计算方法如下：

$D(I_1,I_2)=\underset{X-i}{\overset{N}{\Sigma }}\frac{{(H_{I_1}\left(X\right)-H_{I_2}\left(X\right))}^2}{\max (H_{I_1}\left(X\right),H_{I_2}\left(X\right))}---\left(2\right)$

通过相似性曲线识别摄像头运动状态，当曲线走势处于平缓状态 时，说明摄像头处于静止状态；当曲线走势产生波动时，说明摄像头 处于运动状态；

第三步：将视频帧图像转为HSV颜色空间

HSV图像中H分量和S分量对对光照变化不敏感，可以在一定程 度上减弱由于光照变化对目标分割产生的影响，因此本发明首先将图 像转换为HSV图像。HSV空间有两个重要特点：一是人眼能独立感知 该空间各颜色分量的变化；二是在这种颜色空间上的颜色三元组之间 的欧几里德距离与人眼感觉到的相应的颜色差具有线性关系，是一种 符合人类视觉感觉特性的颜色模型将图像颜色从RGB空间转化到 HSV空间的基本流程如下：

给定RGB颜色空间中的值(r,g,b),r,g,b∈[0,255]，设v'＝max(r,g,b)， 定义r',g',b'为：

$\left(\begin{array}{c}{r}^{\prime }=\frac{v^{\prime }-r}{v^{\prime }-\min (r,g,b)}\\ g^{\prime }=\frac{v^{\prime }-g}{v^{\prime }-\min (r,g,b)}\\ b^{\prime }=\frac{v^{\prime }-b}{v^{\prime }-\min (r,g,b)}\end{array}\right)---\left(3\right)$

定义h'为：

则RGB空间到HSV空间的转换为：

$\left(\begin{array}{c}v=\frac{v^{\prime }}{255}\\ s=\frac{v^{\prime }-\min (r,g,b)}{v^{\prime }}\\ h=60\times h^{\prime }\end{array}\right)---\left(5\right)$

第四步：计算视觉显著图，提取显著性区域

H分量和S分量图像明显的把图像的主体和背景进行了分离，并 且基本不受光照的影响。H分量图像能够呈现整个植株的信息，但背 景略为复杂，S分量图像背景简单，但是过度反映了呈现病斑的信息。

结合温室蔬菜监控视频的特点，本发明对Achanta.R等提出的IG 算法进行修改。IG算法是基于Lab颜色模型的，算法基于图像空间频 域分析，通过叠加多个带通滤波器得到，采用了DOG带通滤波器:

$\mathrm{DOG}(x,y)=\frac{1}{2\pi }[\frac{1}{{{\sigma }_1}^2}{e}^{-\frac{(x^2+y^2)}{2{{\sigma }_1}^2}}-\frac{1}{{{\sigma }_2}^2}{e}^{-\frac{(x^2+y^2)}{2{{\sigma }_2}^2}}]=G(x,y,{\sigma }_1)-G(x,y,{\sigma }_2)---\left(6\right)$

滤波器的叠加过程为：

$\underset{n-0}{\overset{N-1}{\Sigma }}G(x,y,{\rho }^{n+1}\sigma )-G(x,y,{\rho }^n\sigma )=G(x,y,{\rho }^N\sigma )-G(x,y,\sigma )---\left(7\right)$

其显著性数学模型为：

S(x，y)＝||I_μ-I_Lab(x，y)||       (8)

其中，I_μ表示表示图像Lab颜色模型的L、a、b的3个通道的平 均值，I_Lab(x,y)表示图像Lab颜色模型的L、a、b的3个通道经过高斯 滤波后的对应值。||||为欧氏距离。在本发明分析可知，H分量图像和 S分量图像能够明显的把图像的主体和背景进行分离，因此本发明将该 模型改为HSV颜色空间，利用H、S分量构建视觉显著图，其数学模 型如下：

S(x，y)＝a*||I_S-I_S(x，y)||+b*||I_H-I_H(x，y)||    (9)

其中，I_H、I_S分别表示图像HSV颜色模型的H通道的平均值和S 通道平均值，I_H(x,y)、I_S(x,y)表示图像HSV颜色模型的H通道和S通 道经过高斯滤波后的对应值。||||为欧氏距离。0<a,b≤1是2个待定参 数。利用显著性区域与背景之间的显著性比率来确定参数a,b的值：

$R=\frac{\frac{1}{M}\underset{i-1}{\overset{M}{\Sigma }}S(x,y)}{\frac{1}{N}\underset{j-1}{\overset{N}{\Sigma }}S(x,y)}---\left(10\right)$

式中，R为显著性比率，M为显著性区域中像素点个数，N为背 景中像素点的个数，S(x,y)为对应点的显著性值。a,b结果如图2所示， 公式(9)可以修正为：

S(x，y)＝||I_s一I_S(x，y)||+0.1*||I_H-I_H(x，y)||   (11)

利用上式生成视觉显著图，选取自适应阈值为HSV帧图像显著 图的平均显著性的五分之四，从而提取初步显著性区域；

病斑信息修复

如果初步显著性区域含有病斑，则病斑区域很可能被误作为背景， 造成了信息的丢失，本发明利用形态学方法对二值图像进行处理。利 用结构元素B对图像A的膨胀记作，定义为：

$\left(\begin{array}{c}(A\oplus B)(s,t)=\max \left\{d_{\Omega }(A(s-x,t-y)+B(x,y),q_t)\right\}\\ (s-x,t-y)\in D_A;(x,y)\in D_B\end{array}\right)---(12)$

其中，A(s-x,t-y)+B(x,y)表示表示用图像中像素的四元数值和结 构元素值相加；d_Ω(A(s-x,t-y)+B(x,y),q_t)表示表示计算相加的结果与参 考点的欧几里得距离，然后取最大值；D_A，D_B分别表示图像A和结构 元素B的定义域。

利用结构元素B对图像A的腐蚀记作，定义为：

$\left(\begin{array}{c}\left(\mathrm{A\Theta B}\right)(s,t)=\min \left\{d_{\Omega }(A(s-x,t-y)+B(x,y),q_t)\right\}\\ (s-x,t-y)\in D_A;(x,y)\in D_B\end{array}\right)---(13)$

其中，A(s-x,t-y)-B(x,y)表示表示用图像中像素的四元数值和结 构元素值相加；d_Ω(A(s-x,t-y)-B(x,y)表示表示计算相加的结果与参考 点的欧几里得距离，然后取最小值；D_A，D_B分别表示图像A和结构元 素B的定义域。

本发明中为对初步显著性区域中丢失的病斑信息进行恢复，采用 的形态学方法表达式为：

$R=\left[\right[[\mathrm{bw}\oplus S_1]\Theta S_1]\oplus S_2]\Theta S_2---\left(14\right)$

其中，⊕，Θ分别为膨胀和腐蚀运算，bw为二值图像，S₁，S₂是 形态学中的结构元素；

通过以上计算得到完整的显著性区域的提取。

第五步：在线聚类

(1)利用得到的HSV颜色空间中的H分量作为聚类的描述特征， 假设i为当前帧的数量，j为当前类的数量，T为聚类的阈值；

(2)以第一帧图像f₁的显著性区域SR₁的H分量直方图H₁作为第 一类的质心C₁，从第二帧图像开始，计算第i帧图像f_i的显著性区域SR_i， 并计算其直方图H_i。计算H_i与当前每一类质心C_j之间的巴氏距离 D(H_i,C_j)，H_i(l)，C_j(l)表示相应直方图的第l列：

$\left(\begin{array}{c}D(H_i,C_j)=\sqrt{1-{\Sigma }_i\frac{\sqrt{H_i\left(l\right)·C_j\left(l\right)}}{{\Sigma }_i{H}_i\left(l\right)·{\Sigma }_i{C}_j\left(l\right)}}\\ k=\arg \underset{n}{\min D(H_i,C_j)}\end{array}\right)---\left(15\right)$

(3)当D(H_i,C_j)<T时，把SR_i聚类为第k类中，并且将其更新为 该类的质心；否则，建立一个新的类，以H_i为该类的质心C_j+1，j＝j+1；

(4)重复(2)-(3)过程，将得到的显著性区域进行分类；

第六步：基于像素帧平均的关键帧提取

假设显著性区域SR_i内含有M×N个像素点，其坐标为(Xp，Yq)， p＝1,2,3...M，q＝1,2,3...N，则显著性区域SR_i像素平均值的计算公式为：

$A\left(L_i\right)=\frac{1}{j}\underset{p-1}{\overset{j}{\Sigma }}\underset{q=1}{\overset{j}{\Sigma }}f(X_p,Y_q),i=\mathrm{1,2,3}...n---\left(16\right)$

其中，A(L_i)为第i帧图像叶片区域像素平均值，f(X_p,Y_q)为点 (Xp，Yq)处的灰度值；

n帧图像的显著性区域像素平均值的平均值，即标准值计算公式如 下：${\mathrm{MEAN}}_n\left(L\right)=\frac{1}{n}\underset{i-1}{\overset{n}{\Sigma }}A\left(L_i\right)---\left(17\right)$

计算每一帧图像叶片区域像素平均值A(L_i)与标准值之间的差值， 其计算公式如下：

D_i＝|A(L_i)-MEAN_n(L)|     (18)

当D_i取最小值时，则第i帧即为该视频片段的关键帧。

本发明还公开了一种温室蔬菜病害监控视频关键帧提取系统，所 述系统包括：

视频解析模块，对输入的视频数据进行解析，将其分解为帧序列， 并对每一帧图像进行小波增强处理；

摄像头运动状态识别模块，将帧序列的每一帧与第一帧图像做相 似性计算，识别摄像头的运动状态，剔除摄像头处于静止状态时获取 的多余帧图像；

显著图计算模块，利用HSV帧图像的显著性区域与背景之间的显 著性比率来确定参数的数值，从而利用修正的IG显著性计算模型，计 算HSV帧图像的视觉显著图；

显著性区域提取模块，在HSV帧图像的视觉显著图的基础上，利 用自适应阈值提取初始显著性区域，利用组和形态学运算，修复初始 显著性区域中丢失的病斑信息，形成完整的显著性区域。

在线聚类模块，对完整的显著性区域进行聚类运算，输出聚类的 结果；

关键帧选择模块，采用像素帧平均算法，从每一类中选择关键帧。

所述显著性区域提取模块包括：

初始显著性区域提取模块，在计算出的HSV帧图像的视觉显著图 的基础上选择自适应阈值，实现初步显著性区域的提取；

病斑信息修复模块，用组和形态学方法在步显著性区域的基础上 进行丢失病斑信息的恢复，实现完整显著性区域的提取。

本发明提供的一种温室蔬菜病害监控视频关键帧提取方法及提取 系统，充分考虑到了温室蔬菜监控视频的特点，针对特点对传统算法 进行了修正，因此实现了更准确的从温室蔬菜监控视频中提取包含病 害信息的关键帧图像，为蔬菜病害的识别奠定坚实的基础。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参 照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解， 对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本 发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。