一种老电影斑点自适应检测方法

摘要

本发明公开了一种老电影斑点自适应检测方法，通过最佳匹配块，估计出当前帧不同宏块的局部标准差；通过初始阈值对当前帧图像中的像素点进行斑点检测，将初始检测结果记为M

说明书

技术领域

本发明涉及计算机图像处理领域，特别涉及一种老电影斑点自适应检测方法。

背景技术

老影视资料不仅是珍贵的文化素材，更具有重要的历史和文艺价值，是国家宝贵的精神 财富。长期以来，由于存放时间久远，以及传统存储介质不利于影像资料保存等原因，大量 老电影资料破损严重，将这些影像资料转换为数字格式是目前保护这些珍贵资料的有效手段。 然而，由于存储条件限制和反复播放等缘故，老电影胶片往往会出现各种损伤，大大降低了 数字信息的完整性及可读性；传统基于photoshop软件修复方法速度慢，费用高，效率低下， 不能用于老电影的大规模修复，必须依靠先进的数字图像修复技术来解决这一问题。

现有技术中又提出了以下两种方法：

斑点检测索引算法(Spike Detection Index，简称SDI)是一种最基本的基于斑块时域不连 续特性的检测法。它首先提出了利用序列中的相邻三帧来检测斑块，该算法首先分别计算当 前帧的像素点与前后运动补偿参考帧对应像素差值的平方，然后将两数中较小的数值与设定 阈值进行比较，从而判定当前像素点是否属于斑块。

等级差分检测器（Rank-Ordered Difference，简称ROD）是一种基于等级统计的启发式检 测器。对于当前帧中的任意像素点(x,y)，查找前后两个参考帧中坐标同为(x,y)的点p₁,p₂， 以及它们在竖直方向上的相邻点p₃，p₄，p₅和p₆，将这6个点按照灰度值从小到大排列， 并设定检测阈值进行判断，确定像素点(x,y)是否为斑块。

发明人在实现本发明的过程中，发现现有技术中至少存下以下缺点和不足：

1）SDI检测算法只考虑到斑点的时间不连续性，没有考虑到斑点的空间一致性，检测精 度较低；

2）ROD算法十分依赖运动估计的准确性，而且需要人为调节3个不同的阈值，自适应 性较低。

总之，上述两种传统检测方法对于一帧图像的不同区域均采用固定的阈值检测，不能准 确检测出一帧图像不同区域的斑点，检测精度和自适应性都较差。

发明内容

本发明提供了一种老电影斑点自适应检测方法，本方法采用块匹配的运动估计算法，通 过帧间的统计特性估计出当前检测帧不同区域的局部标准差，然后采用阈值迭代的方法找到 该帧的最优阈值，提高了检测精度和自适应性，详见下文描述：

一种老电影斑点自适应检测方法，所述方法包括：

对当前帧图像及前后两帧图像做运动估计，查找当前帧图像所有的宏块分别在前一帧和 后一帧图像中的最佳匹配块；

通过所述最佳匹配块，估计出当前帧不同宏块的局部标准差；

通过初始阈值ε₀对当前帧图像中的像素点进行斑点检测，将初始检测结果记为M₀，初始 斑点块个数记为n₀；

将所述初始阈值增加一个迭代步长Δε，重新判断自适应斑点检测索引，将迭代检测结果 记为M₁，迭代斑点块个数为n₁；

判断所述初始斑点块个数n₀和所述迭代斑点块个数n₁是否相等，若n₀=n₁，表示所述初 始阈值增加后没有出现新的斑点，令M₀=M₁，执行上一步；若n₀≠n₁，则表明所述迭代检 测结果中出现了与所述初始检测结果不相连通的新增区域S₀，执行下一步；

当所述新增区域满足判决条件时，所述新增区域为斑点区域，否则移除所述新增区域S₀。

所述对当前帧图像及前后两帧图像做运动估计，查找当前帧图像所有的宏块分别在前一 帧和后一帧图像中的最佳匹配块的过程具体为：

对当前帧图像I_t中的任一宏块W_i，在前后帧中分别计算宏块W_i和前后帧中所有宏块的像 素值差异，在前后帧中分别找到像素值差异最小的宏块，即为当前帧宏块W_i在前后两帧中的 最佳匹配块和

所述在前后帧中分别计算宏块W_i和前后帧中所有宏块的像素值差异，在前后帧中分别找 到像素值差异最小的宏块的过程具体为：

$d(W_{i\prime }^{t-1},W_i)=\underset{k=0}{\overset{p-1}{\Sigma }}\underset{j=0}{\overset{q-1}{\Sigma }}|f(u+k,v+j)-f(m+k,n+j)|$

$W_i^{-}=\arg \min d(W_{i^{\prime }}^{t-1},W_i)$

其中，表示前后两帧中两个宏块所对应的像素值差异；(u+k,v+j)表示对左上角像素坐标分别平移k和j后的像素坐标；(m+k,n+j)表示对W_i左上角像素坐标分别平 移k和j后的像素坐标；f(·)表示某点的像素值；表示前一帧图像I_t-1帧中的某一宏块；p 和q为宏块的大小。

所述通过所述最佳匹配块，估计出当前帧不同宏块的局部标准差的过程具体为：

$C_i=W_i^{-}-W_i^{+}$

${\sigma }_i=\sqrt{\frac{1}{p\times q}\underset{c(i,j)\in C_i}{\Sigma }{(c(i,j)-\bar{c})}^2}$

其中，C_i表示与中的元素对应作差；c(i,j)表示C_i中元素；表示C_i中元素的平均 值；σ_i为第i个宏块的局部标准差；p和q为宏块的大小。

所述通过初始阈值ε₀对当前帧图像中的像素点进行斑点检测的过程具体为：

定义所述自适应斑点检测索引，通过所述自适应斑点检测索引和初始阈值ε₀判断像素点x 是否为斑点。

所述定义所述自适应斑点检测索引，通过所述自适应斑点检测索引和初始阈值ε₀判断像素 点x是否为斑点的过程具体为：

所述自适应斑点检测索引ASDI(x)定义为：

$\mathrm{ASDI}\left(x\right)=\max (F_x\left(\right|D_x^{-}\left|\right),F_x\left(\right|D_x^{+}\left|\right))·\mathrm{sign}(D_x^{-}\times D_x^{+})$

$F_x\left(\delta \right)=1-\frac{\sqrt{M}}{\sqrt{2\pi }{\sigma }_x^2}{\int }_{-\delta }^{+\delta }{e}^{-\frac{{\mathrm{Ms}}^2}{{2\sigma }_x^2}}\mathrm{ds};$δ表示自变量为：和s表示积分变量；和表示前一帧和后一帧中灰度级的平均差异；M代表范围N₀中像素点总数；表示像素点x所 属宏块的方差；sign表示符号函数；

设定一个初始阈值ε₀，当0<ASDI(x)<ε₀时，像素点x为斑点。

所述判决条件为：第一条件和第二条件，

所述第一条件：所述新增区域与前后两帧的对应区域有灰度级差异，判决公式如下：

$b^{-}=\frac{1}{N}\underset{(i,j)\in S_0}{\Sigma }(z_t(i,j)-z_{t-1}(i,j))$

$b^{+}=\frac{1}{N}\underset{(i,j)\in S_0}{\Sigma }(z_t(i,j)-z_{t+1}(i,j))$

C(S₀)=min(|b_-|,|b₊|)·sign(b^-×b⁺)

给定一个正数α，若满足C(S₀)>α，则认为满足所述第一条件；

所述第二条件：新增区域内像素的灰度值平滑，判决公式如下：

${\sigma }^2\left(S_0\right)=\frac{1}{N}\underset{(i,j)\in S_0}{\Sigma }{(z_t(i,j)-\stackrel{-}{z})}^2$

对于给定的一个正数β，若满足σ²(S₀)<β，则认为满足所述第二条件；

其中，b^-、b⁺、C(S₀)和σ²(S₀)为变量；z_t(i,j)表示新增区域内某一像素点(i,j)的像素 值；z_t-1(i,j)和z_t+1(i,j)分别表示像素点(i,j)在前一帧和后一帧对应点的像素值；表示新增 区域像素平均灰度值；N表示新增区域内像素点的个数；sign表示符号函数。

本发明提供的技术方案的有益效果是：

（1）本发明充分考虑了斑点的空间特性，改进了传统方法中求帧间像素灰度级差异的方 法。

（2）通过基于块匹配的运动估计方法和帧间的统计特性，对图像不同区域得到不同的局 部标准差，改变了传统算法对不同区域采用固定阈值进行检测的弊端。

（3）对每帧图像都利用阈值迭代的方法产生合适的阈值，提高了算法的自适应性。

总之，本发明充分考虑到了斑点的时空特性，采用块匹配的运动估计算法，估计出当前 帧图像不同区域的局部标准差，然后采用阈值迭代的方法找到该帧的最优检测阈值，提高了 检测精度和自适应性。

附图说明

图1为前后帧块匹配运动矢量估计示意图，其中黑色区域为当前帧中的某一宏块，阴影 区域为该宏块在前一帧和后一帧中的最佳匹配块；

图2为高斯分布两端尾部的面积的示意图，其中灰色区域表示两端尾部面积；

图3为阈值迭代过程；

图4为第一组老电影序列斑点检测的性能分析；

图5为老电影序列“罗马假日”斑点检测结果对比图，其中(a)为当前帧，其中椭圆标注 部分为斑点区域，(b)为ROD算法斑点检测结果，(c)为SDI算法斑点检测结果，(d)为本发明初 始阈值斑点检测结果，(e)为本发明检测中间过程，(f)为本发明最终检测结果；

图6为老电影序列“永不消逝的电波”斑点检测结果对比图，其中(a)为当前帧，其中椭 圆标注部分为斑点区域，(b)为ROD算法斑点检测结果，(c)为SDI算法斑点检测结果，(d)为本 发明初始阈值斑点检测结果，(e)为本发明检测中间过程，(f)为本发明最终检测结果；

图7为一种老电影斑点自适应检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进 一步地详细描述。

为了能够准确检测出一帧图像不同区域的斑点，提高检测精度和自适应性，本发明实施 例提供了一种老电影斑点自适应检测方法，详见下文描述：

101：读入t时刻的某一帧图像及其相邻的前后两帧图像，设I_t表示t时刻当前帧图像，I_t-1和I_t+1分别表示当前帧图像的前一帧和后一帧图像，利用块匹配的运动估计算法对当前帧图像 及前后两帧图像做运动估计，并找到当前帧图像所有的宏块在前一帧和后一帧图像中的最佳 匹配块，具体做法是：

1）如图1所示，分别将当前帧及其前后帧图像分割成网格状的宏块（各个宏块之间互不 重叠），每个宏块大小为p×q（宏块大小根据实际应用中的需要确定，一般采用经典值 16×16）；

2）求取每一个宏块的最佳匹配块，设W_i表示当前帧图像I_t中的第i个宏块，和分 别表示W_i在前一帧图像I_t-1和后一帧图像I_t+1中的最佳匹配块，和分别表示I_t-1和I_t+1帧中的某一宏块。

对于当前帧图像I_t中的任一宏块W_i，在前后帧中分别计算该宏块和前后帧中所有宏块的 像素值差异，在前后帧中分别找到像素值差异最小的宏块，即为当前帧宏块在前后两帧中的 最佳匹配块和具体公式如下：

$d(W_{i\prime }^{t-1},W_i)\underset{k=0}{\overset{p-1}{\Sigma }}\underset{j=0}{\overset{q-1}{\Sigma }}|f(u+k,v+j)-f(m+k,n+j)|---\left(1\right)$

$W_i^{-}=\arg \min d(W_{i^{\prime }}^{t-1},W_i)---\left(2\right)$

其中，表示前后两帧中两个宏块所对应的像素值差异；(u,v)和(m,n)分别表示 和W_i左上角像素坐标；(u+k,v+j)表示对左上角像素坐标分别平移k和j后的像素坐 标；(m+k,n+j)表示对W_i左上角像素坐标分别平移k和j后的像素坐标；f(·)表示某点的像 素值（例如f(u+k,v+j)表示(u+k,v+j)的像素值）。

公式（2）表示与W_i的像素差异最小的宏块即为最佳匹配块，将公式（1）和（2）中的换为换为即可求得

例如：分别将当前帧及其前后帧图像分割成9个宏块，每个宏块大小为16×16，将当前帧 图像I_t中的第5个宏块作为W₅，对前一帧图像I_t-1中的每个宏块计算与W₅之间的像素值差异， 即得到9个像素值差异，从中选取像素值差异最小时所对应的宏块，作为W₅在前一帧图像中 的最佳匹配块，以此类推，本发明实施例对从后一帧图像中寻找最佳匹配块的步骤不做赘述。

102：通过最佳匹配块，估计出当前帧不同宏块的局部标准差；

其中，局部标准差反应了当前帧中某一宏块与前后两帧中对应宏块的像素值差异程度，因 此，可利用和像素差异的标准差作为该宏块的局部标准差的估计值，局部标准差可按 下式估计：

$C_i=W_i^{-}-W_i^{+}---\left(3\right)$

${\sigma }_i=\sqrt{\frac{1}{p\times q}\underset{c(i,j)\in C_i}{\Sigma }{(c(i,j)-\bar{c})}^2}---\left(4\right)$

其中，公式(3)表示中的元素对应作差；c(i,j)表示C_i中元素；表示C_i中元素 的平均值；σ_i为第i个宏块的局部标准差；并定义σ_x表示像素点x所属宏块的局部标准差（例 如：当像素点x属于第一个宏块时，σ_x表示第一个宏块的局部标准差）。

例如：和分别为16×16的宏块，将其分别作为16×16的矩阵，即C_i为16×16的矩阵， c(i,j)表示矩阵中的每一个元素，表示C_i中元素的平均值。

103：设定一个初始阈值ε₀，使用初始阈值ε₀对当前帧图像中的像素点进行斑点检测，将 初始检测结果记为M₀，初始斑点块个数记为n₀；

其中，设I_t(x)表示当前帧图像I_t中的某个像素点x，其在前一帧中的匹配点为I_t-1(x^-)， 在下一帧中的匹配点为I_t+1(x⁺)，即通过像素点x的对应位置查找。

令像素点x在某个范围N₀内移动，y为移动距离，则移动后I_t(x+y)与I_t-1(x^-+y)的像素 差异可以表示为：

d^-=I_t(x+y)-I_t-1(x^-+y)     (5)

其中y∈N₀，当y取不同值时，可以得到不同的d^-，d^-是独立分布的随机变量且服从高 斯分布表示像素点x所属宏块的方差；将公式（5）中的I_t-1(x^-+y)换为I_t+1(x⁺+y) 可以求出所有的d+。

对于任意一点x，可计算其灰度级的平均差异：

$D_x^{-}=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{d}_i^{-}---\left(6\right)$

其中，M代表范围N₀中像素点总数。由概率论的基本原理可知，应服从高斯分布 将公式（6）中的换为即可求得则高斯分布两端尾部的面积F_x(δ)， 参见图2，可以利用下式公式计算：

$F_x\left(\delta \right)=1-\frac{\sqrt{M}}{\sqrt{2\pi }{\sigma }_x^2}{\int }_{-\delta }^{+\delta }{e}^{-\frac{{\mathrm{Ms}}^2}{{2\sigma }_x^2}}\mathrm{ds}---\left(7\right)$

其中，δ表示自变量(可以为：和        s表示积分变量，在对每一像素点x利用 公式(7)进行检测时，都要首先判断当前像素点x所属宏块，用所属宏块的方差进行检测。

对于任意一个像素点x，如果通过公式（7）计算得到的和非常小，则表 示和非常大，则可以认为像素点x与其在前后帧中对应点的平均灰度级差异足够大， 该像素点x点为潜在斑点，若此时同时满足与同号，则可认为在像素点x处存在斑点； 若与不同号，则表明该点与前一帧和后一帧的对应点是正常的灰度级渐变过程。为此， 本方法的自适应斑点检测索引定义为：

$\mathrm{ASDI}\left(x\right)=\max (F_x\left(\right|D_x^{-}\left|\right),F_x\left(\right|D_x^{+}\left|\right))·\mathrm{sign}(D_x^{-}\times D_x^{+})---\left(8\right)$

在实际应用中，可对当前帧图像I_t设定一个初始阈值ε₀,0<ε₀<1（如ε₀=0.1），对当前 帧图像I_t中的任意一像素点x，如果其检测索引满足关系：0<ASDI(x)<ε₀，则可以认为像 素点x为斑点。初始检测结果M₀为一个二值化矩阵（M₀的大小和当前帧图像I_t相匹配）， 初始化矩阵中的各元素为0，当像素点x为斑点时，将二值化矩阵M₀中对应位置的元素标记 为1，反之不是斑点时，将二值化矩阵M₀中对应位置的元素标记为0，将斑点个数记为n₀。 其中，符号函数sign为本领域技术人员所公知，本发明实施例对此不做赘述。

104：将初始阈值增加一个迭代步长Δε，即令ε₀=ε₀+Δε，重新判断检测索引，将迭代 检测结果记为M₁，迭代斑点块个数为n₁；

其中，M₁和M₀一样同为二值化矩阵，具体定义本发明实施例不再赘述。

105：判断初始斑点块个数n₀和迭代斑点块个数n₁是否相等，若n₀=n₁，表示初始阈值增 加后没有出现新的斑点，如图3中(a)、(b)所示，令M₀=M₁，返回第104步；若n₀≠n₁，则 表明初始阈值增加后检测结果中出现了与原检测结果不相连通的新增区域S₀，如图3中(c)图 中椭圆标注的区域3和区域4，此时需要作进一步判别，执行步骤106；

106：当新增区域满足判决条件时，新增区域为斑点区域，否则移除该新增区域S₀。

第一条件：新增区域与前后两帧的对应区域有明显灰度级差异，具体判决公式如下：

$b^{-}=\frac{1}{N}\underset{(i,j)\in S_0}{\Sigma }(z_t(i,j)-z_{t-1}(i,j))---\left(9\right)$

$b^{+}=\frac{1}{N}\underset{(i,j)\in S_0}{\Sigma }(z_t(i,j)-z_{t+1}(i,j))---\left(10\right)$

C(S₀)=min(|b^-|,|b⁺|)·sign(b^-×b⁺)               (11)

给定一个正数α（根据经验α常取5～15），通过公式（11）计算C(S₀)，若满足C(S₀)>α， 则认为满足第一条件。另sign(b^-×b⁺)的用法与公式（8）中的符号函数相同，本发明实施例 对此不做赘述。

第二条件：新增区域内像素的灰度值较平滑，即该新增区域内像素的灰度值无明显差异， 具体判决公式如下：

${\sigma }^2\left(S_0\right)=\frac{1}{N}\underset{(i,j)\in S_0}{\Sigma }{(z_t(i,j)-\stackrel{-}{z})}^2---\left(12\right)$

对于给定的一个正数β（根据经验β常取20～25），通过公式（12）计算σ²(S₀)，若满 足σ²(S₀)<β，则认为满足第二条件。

其中，b^-、b⁺、C(S₀)和σ²(S₀)为变量；z_t(i,j)表示新增区域内某一像素点(i,j)的像素 值；z_t-1(i,j)和z_t+1(i,j)分别表示像素点(i,j)在前一帧和后一帧对应点的像素值；表示新增 区域像素平均灰度值；N表示新增区域内像素点的个数。

若新增区域S₀同时满足上述2个条件，即认为该新增区域S₀区域为斑点区域，需保留该 新增区域S₀；否则，移除该新增区域S₀。

当需要执行下次循环时，将筛选后的迭代检测结果M₁重新赋给M₀，即对初始检测结果 M₀进行重新赋值，继续迭代，返回步骤104，获取新的迭代检测结果，再根据新的迭代检测 结果和新的初始检测结果判断新增区域等（以此类推，本发明实施例对后续的循环步骤不做 赘述）；直至新增区域不满足判决条件时，停止迭代，将最近一次检测结果作为最终结果。

下面以具体的实验来验证本发明提供的一种老电影斑点自适应检测方法的可行性，详见 下文描述：

本发明选取了两组老电影序列进行实验仿真。将本方法分别与经典ROD算法及SDI算 法的检测效果进行了实验对比，为了对算法的斑点检测效果进行量化比较，在第一组老电影 序列中随机加入了部分斑点，第二组老电影序列中的斑点为真实存在的斑点，实验效果如图 4、图5和图6所示。

从图4中可以看出，在相同的正确检测率(CDR)下，本方法的错误检测率(FAR)更低。例 如在正确检测率为0.8的条件下，本方法的错误检测率约为0.0005，ROD算法的错误检测率约 为0.004，SDI算法的错误检测率约为0.015，可以看出，本方法的错误检测率比ROD算法的错 误检测率要低8倍多，比SDI算法的错误检测率要低10倍以上。

对于图5(a)和图6(a)中的斑点（椭圆标注区域），由于ROD算法仅仅考虑当前帧中单个 像素点与前后两帧中对应位置邻近像素点的灰度级差异，可用信息较少；同时对于一帧图像， ROD算法采用固定阈值，难以适应不同区域的要求，因此斑点检测不够准确，出现了大量孤 立的错误检测点，如图5(b)中项链对应的位置，以及图6(b)中人体衣服边缘处位置。SDI算 法仅考虑到斑点的时间不连续性，没有考虑到斑点的空间特性，因此检测精度较低，检测出 大量误点，如图5(c)和图6(c)所示。

相比较而言，本方法充分考虑到了斑点的空间一致性，对当前帧的各个像素点考虑了其 邻域块与前后两帧中的匹配块的平均灰度级差异；且对于一帧图像中不同的区域块采用不同 的局部标准差进行处理，有效地去除了错误检测点，尤其是孤立的错误检测点，由图5(f)和 图6(f)可以看出，本方法的检测结果更加准确。

同时由于本方法对每一帧图像通过阈值迭代和新增斑点的再判断处理，使之收敛到一个 最优阈值进行检查，有效地去除了伪斑点。如图6(e)和(f)所示，图6(e)中椭圆标注区域内的 新增斑点在最终检测结果（图6(f)）中没有出现，表明该新增斑点不满足再判决的条件，被 成功去除。仿真实验结果表明，本方法较原来的传统ROD算法及SDI算法具有明显的优势， 在提高算法自适应性的同时，大大提高了斑点检测的准确性。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅 仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之 内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。