基于多源图像的生猪体表温度和步态特征提取方法的研究

摘要

生猪养殖规模化发展的趋势对养殖自动化、信息化、智能化的要求越来越高。基于计算机视觉的生猪养殖监测方法具有非接触、连续自动监测的特点，既有利于及时发现生猪疫病进行早期治疗、采取隔离措施，降低养殖企业损失;同时，还有利于降低养殖人员工作强度、改善养殖人员工作环境、减少因与生猪密切接触而引发人畜交叉感染的机率。该领域的研究具有重要的科学价值和广阔的应用前景。
　　本文针对该领域目前主要通过可见光图像或视频进行生猪行为识别、监测的研究中，提取特征有限、监测识别准确性易受光照及环境干扰的问题，在广泛调研分析的基础上，构建可见光图像、红外热图像和深度图像等的多源图像采集平台，重点开展了基于多源图像的生猪兴趣区体表温度特征和行走步频特征的自动提取方法的研究。本文的创新研究成果主要有:
　　(1)提出一种基于射线轮廓匹配的生猪红外热图像和可见光图像的自动配准方法。由于红外热图像和可见光图像成像原理不同，传统的可见光图像配准方法在异源图像配准中难以获得较好的配准效果。本文在分析所采用红外热像仪同时采集的两种异源图像特点的基础上，将图像配准变换简化为两图像尺度变换参数的待定求解问题。以射线辅助线与轮廓边缘交点构建的特征点集作为特征空间，以加权部分Hausdorff距离作为相似性度量，迭代求取最优尺度变换参数。利用RPROP(Resilient Backpropagation)算法对迭代过程进行加速，较好地实现了两种图像的自动配准。实验结果表明，图像配准精度基本满足进一步图像融合的要求。
　　(2)提出一种基于非子采样轮廓波(NSCT)的生猪可见光图像和红外热图像融合方法。在图像配准的基础上，针对生猪可见光图像和红外热图像的特点，为改善融合图像质量以便于生猪兴趣区识别，首先用NSCT变换对配准好的待融合图像进行多尺度多方向分解。接着，在分解的低频系数融合中综合考虑邻域能量和方差对图像特征的影响，制订了基于邻域能量和方差计算融合权重的低频系数融合规则，并以邻域能量最大作为带通子带系数的融合规则;最后对融合系数进行NSCT逆变换，获得融合图像。实验表明，融合图像相对可见光源图像和红外源图像而言具有更好的视觉效果和轮廓分割效果。
　　(3)针对生猪体表温度兴趣区的红外热像自动检测，在实验确定以生猪耳根部作为生猪体表温度特征兴趣区的基础上，首先提出一种基于改进主动形状模型的生猪耳根部区域自动提取的方法。该方法在经典主动形状模型方法的基础上，以图像融合中各个像素点NSCT分解系数替代传统的灰度局部特征点纹理模型，结合侧视、俯视视角下生猪图像骨架特点，通过图像骨架提取和匹配改进平均形状初始定位，较好地实现了生猪耳部区域识别。然后，通过耳根部轮廓线等距偏移，提取生猪耳根部区域。最后，通过红外热图像温度数据提取对应耳根部体表温度(ERST)。对比手动分割提取和本文自动提取的温度统计结果，表明了本文方法的有效性。
　　(4)提出一种基于深度图像骨架端点分析的生猪行走步态描述子的构造方法。针对生猪行走的计算机视觉描述问题，以深度相机作为采集设备，侧视采集生猪行走图像序列。在对深度图像进行背景差分，提取生猪二值前景图像的基础上，首先应用骨架提取、剪枝和骨架图匹配的方法定位生猪前、后肢四个骨架端点;然后，以四肢骨架端点邻域深度信息为度量，判定骨架端点的左右侧属性;最后，分别以前、后肢左、右侧骨架端点在图像坐标空间中的水平坐标变化关系构造步态描述子，建立生猪行走的计算机视觉描述。所提出的步态描述子构造方法，为通过深度图像序列分析生猪行走步态特征奠定了基础。
　　(5)提出一种基于步态描述子序列分割和行走步重构的生猪行走步频检测方法。该方法将生猪行走深度图像序列中提取到的步态描述子看作一个单变量时间序列，首先，采用两次分割方法将序列划分为正向上升、负向上升、正向下降、负向下降和站立等五种基本步态单元;然后，将基本步态单元顺序组合，按生猪行走规律，通过步态基本单元重构，将序列转化为正向交叉步、负向交叉步、正向跛足步和负向跛足步等单步行走步模式的组合，实现序列对应行走步的计数;最后结合序列采集时间，计算求取行走步频特征。实验表明，该方法即使在行走中存在跛足行为和原地停留的情况下，也能够较准确的提取生猪行走步频特征。该方法的提出不仅为衡量生猪行走快慢提供了一种有效的途径，而且还有利于进一步开展生猪跛足检测的研究。
　　本文研究工作对于构建和完善生猪计算机视觉监测系统，丰富多源监测特征，进一步提高监测预警能力具有较好的学术意义和应用价值。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 国内外研究现状与分析

1．2．1 计算机视觉技术在生猪行为监测领域的研究进展

1．2．2 计算机视觉技术在生猪形体检测领域的研究进展

1．2．3 红外热图像在牲畜养殖领域的研究进展

1．2．4 牲畜步态研究进展及深度图像在养殖领域的应用前景分析

1．2．5 研究现状分析和本文研究目标

1．3 本文主要研究内容

1．3．1 图像配准

1．3．2 多源图像融合

1．3．3 生猪兴趣部位的识别定位与区域温度特征提取

1．3．4 生猪行走步态描述子的构造

1．3．5 生猪行走步态特征的提取方法

1．4 课题来源

1．5 本文章节安排

第2章 生猪红外与可见光图像自动配准方法的研究

2．1 问题的提出

2．2 图像配准方法

2．3 基于射线轮廓匹配的生猪红外和可见光自动配准

2．3．1 射线边缘特征点集的构建

2．3．2 相似性度量

2．3．3 RPROP迭代加速

2．4 实验与分析

2．5 本章小结

第3章 生猪红外和可见光图像融合方法的研究

3．1 问题的提出

3．2 图像融合技术

3．2．1 图像融合方法

3．2．2 图像融合评价

3．3 基于非子采样轮廓波变换的生猪红外和可见光图像融合

3．3．1 非子采样轮廓波变换

3．3．2 基于NSCT的生猪红外热图像和可见光图像融合规则设计

3．4 实验分析

3．4．1 不同融合方法对比实验

3．4．2 NSCT融合规则对比实验

3．5 本章小结

第4章 基于计算机的生猪耳根部体表温度自动检测方法研究

4．1 问题的提出

4．2 红外热图像中生猪体表温度兴趣区实验分析

4．3 主动形状模型

4．4 基于改进主动形状模型的耳部区域检测

4．4．1 特征点的选取规则

4．4．2 局部纹理模型的改进

4．4．3 基于骨架匹配的初始形状定位

4．5 侧视视角耳部区域检测及耳根部体表温度检测实验与分析

4．5．1 耳部区域检测实验

4．5．2 耳根部提取及耳根部体表温度检测实验

4．6 俯视视角耳部区域检测的算法改进与实验

4．7 本章小结

第5章 基于深度图像序列的生猪步频特征提取

5．1 问题的提出

5．2 生猪行走深度图像序列采集与预处理

5．3 生猪行走步态描述子

5．3．1 生猪步态描述子的构造思想

5．3．2 前后肢左、右侧端点的判定

5．3．3 基于左、右端点坐标关系的步态描述子

5．4 基于正弦曲线拟合的生猪行走步频特征提取

5．4．1 算法描述

5．4．2 实验结果与分析

5．5 基于步态序列分割的步频特征提取

5．5．1 基本步态单元的定义

5．5．2 序列分割与步频特征提取

5．5．3 实验结果与分析

5．6 本章小结

第6章 总结与展望

6．1 全文总结

6．2 存在的问题及对未来工作的展望

参考文献

致谢

攻读博士学位期间发表的论文与科研工作