基于显著性检测的不同视角下红外与可见光图像融合

摘要

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别.现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限.针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法.通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场.使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合.最后,通过违规入侵行为辨识为目标进行实验验证.实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为.