基于帧间组稀疏的两阶段递归增强视频压缩感知重构网络

摘要

基于迭代优化的传统视频压缩感知重构算法运行时间长,参数的自适应性较低,限制了其实用性和泛化能力.利用神经网络强大的计算能力和运行速度快、参数可学习的优点,本文首先提出了帧间组稀疏网络(VGSR-Net),用神经网络将图像块组映射到更高维的稀疏表示域中,并利用可学习的阈值提取帧间相关特征.在此基础上,提出了两阶段混合递归增强重构网络(2sRER-VGSR-Net).首先,利用VGSR-Net对初始重构结果进行初步增强;然后,引入STMC-Net实现运动估计,并利用残差重构网络进一步重构当前帧丢失的信息,得到更高质量的重构结果.在第二阶段重构过程中采用混合递归结构,充分利用已有的高质量重构帧信息.仿真结果表明,所提算法与现有最优迭代优化重构算法SSIM-InterF-GSR相比重构性能提升了1.99dB;和基于深度学习的重构网络CSVideoNet相比,性能提升了4.60dB.