用于数字画面的内容自适应细节滤波的方法和装置

摘要

根据一个实施例，公开了一种方法。该方法包括接收视频数据；对数据执行预滤波；执行内容分析以标识数据的区域；应用二维(2－D)二阶梯度运算以提取高频分量；以及关于来自先前画面的高频信息归一化该高频分量。

说明书

发明领域

本发明涉及计算机系统，尤其涉及视频处理。

背景

图像增强在视频处理领域是重要的因素。在图像/视频应用的终端用户方， 通常应用图像增强技术作为部分后处理滤波以提高画面质量。常规的媒体处 理器通过放大高频分量以增加画面内容的细节/锐度来提高画面质量。遗憾的 是，盲目地放大高频分量由于画面内容的噪声细节的放大而导致不期望的 画面质量。

附图简述

本发明在附图中通过示例而非限制地示出，其中相同的附图标记指示相似 的元件，附图中：

图1是计算机系统的一个实施例的框图；

图2是示出执行细节滤波的一个实施例的流程图；

图3是示出执行细节滤波的另一个实施例的流程图；

图4示出用于中心目标像素的高频分量提取进程的等式和像素位置的一 个实施例；以及

图5示出常规边缘检测度量上映射边缘检测对滤波加权的示图的一个实 施例。

详细描述

公开了一种内容自适应细节滤波机制。在一个实施例中，该机制包括应用 于视频、图像、显示和媒体处理器领域中的后处理系统的组件。在一个实施例 中，该组件包括通过内容自适应滤波增加画面细节/锐度来增强图像/视频视觉 质量的进程；通过利用边缘检测和噪声检测以适配细节滤波的使用来提供内容 分析的进程；通过利用预处理滤波改善边缘检测和噪声检测来提供更好/准确 的内容分析的进程；通过所提出的二维(2-D)二阶导数公式提取高频分量来 提供细节滤波的进程；通过从先前画面检测出的高频分量的最大值归一化滤波 量来提供细节滤波的进程；根据噪声检测或从先前画面检测出的高频分量的最 大值的一部分修改滤波量来提供细节滤波的进程；以及通过允许终端用户指定 滤波增益因数来修改滤波量以实现用户偏好来提供细节滤波的进程。

在本发明的以下详细描述中，阐述了很多特定细节以便提供对本发明的透 彻理解。然而，对于本领域的技术人员显然易见的是没有这些特定细节也可实 施本发明。在其它情况下，公知的结构和设备以框图形式而不详细地示出，以 免淡化本发明。

在本说明书中对“一个实施例”或“一实施例”的引述表示结合该实施例 描述的特定特征、结构、或特性包括在本发明的至少一个实施例中。在说明书 的各位置出现的短语“在一个实施例中”不一定全指同一实施例。

以下的详细描述的某些部分是按照对计算机存储器内数据位的操作的算 法和符号表示来介绍的。这些算法描述和表示是数据处理领域的技术人员用于 向本领域的其它技术人员最有效地传达其工作实质的手段。在本文中且通常认 为算法是导致期望结果的步骤的自相容序列。这些步骤需要对物理量的物理处 理。通常，尽管并非必需，这些量采用能够被存储、传送、组合、比较和其它 方式处理的电或磁信号形式。已经证明将这些信号称为位、值、元素、码元、 字符、项、数字等有时是方便的，主要是出于通用的原因。

然而，应当铭记，所有这些和类似术语都与适当的物理量相关联且仅仅是 应用于这些量的方便标志。除非具体说明否则，如从以下讨论所显而易见的， 应意识到，贯穿说明书使用诸如“处理”、“计算”、“推算”、“确定”、 “显示”等术语的讨论指的是计算机系统或类似的电子计算设备的动作和进 程，它们将计算机系统寄存器和存储器内表示为物理(例如，电子)量的数据处 理和变换成计算机系统存储器、寄存器或其他这种信息存储、传输或显示设备 内类似地表示为物理量的其他数据。

本发明还涉及用于在本文中执行操作的装置。该装置可专门构造成用于所 需目的，或者它可包括由存储在计算机中的计算机程序选择性地激活或重新配 置的通用计算机。这种计算机程序可存储在计算机可读存储介质中，诸如但不 限于包括软盘、光盘、CD-ROM和磁光盘的任意类型的盘、只读存储器(ROM)、 随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或适用于存储电子指令 且各自耦合到计算机系统总线的任意类型的介质。

本文中出现的算法和显示器不固有地关联于任何特定计算机或其它装置。 各种通用系统可根据本文的教义与程序一起使用，或者可证明构造更为专用的 装置来执行所需的方法步骤是方便的。用于多种这些系统的所需结构将从以下 的描述中出现。此外，本发明不是参考任何具体编程语言描述的。将意识到可 将多种编程语言用于实现如本文所述的本发明的教义。

编程语言的指令可由一个或多个处理设备(例如，处理器、控制器、控制 处理单元(CPU))执行。

图1是计算机系统100的一个实施例的框图。计算机系统100包括耦合至 互连105的中央处理单元(CPU)102。在一个实施例中，CPU 102是可从加利 福尼亚州圣克拉拉的英特尔公司购买到的IV处理器的处 理器家族中的处理器。或者，可使用其它CPU。例如，可将CPU 102实现为多 个处理器或多个处理器核。

在又一个实施例中，芯片组107也耦合到互连105。芯片组107可包括存 储器控制组件(MC)110。MC 110可包括耦合到主系统存储器115的存储器控 制器112。主系统存储器115存储由CPU 102或系统100中包括的任何其它设 备执行的数据和指令序列。

MC110可经由集线器接口耦合到输入/输出控制组件(IC)140。IC 140 向计算机系统100内的输入/输出(I/O)设备提供接口。IC 140可支持诸如外 围组件互连(PCI)、加速图形端口(AGP)、通用串行互连(USB)、低引脚 数(LPC)互连或任意其它类型的I/O互连(未示出)等I/O互连上的标准I/O 操作。在一个实施例中，ICH 140耦合到无线收发机160。

根据一个实施例，IC 140包括执行视频数据的内容自适应细节滤波的指 令集。然而，在其它实施例中，IC 140可包括用于执行该进程的硬件模块。在 又一些实施例中，CPU 102可被实现成执行该进程。

图2是示出执行细节滤波的一个实施例的流程图。在处理框210，接收视 频输入。在处理框220，执行预滤波以平滑画面。在处理框230，应用内容分 析以标识诸如边缘区之类的感兴趣的区域。在处理框240，应用2-D二阶梯度 运算以提取高频分量。

在处理框250，关于来自先前画面的同一高频信息，归一化高频分量。在 处理框255，通过边缘检测的结果精化调节量。在处理框260，从ICH 140发 送经处理的视频数据。以下更详细地描述各个处理220-255。

根据又一个实施例，向用户提供参数设置以按用户偏好选择精化量。图3 是示出结合用户偏好执行细节滤波的另一个实施例的流程图。在处理框320， 乘法器被应用于精化值以提供基于用户定义的增益因数的调节。在处理框325， 执行限幅(clipping)。在一个实施例中，限幅基于在细节滤波期间处理的3x3 毗邻像素的局部最大和局部最小。在处理框330，将经调节的值加至视频输入。 在处理框340，在转发到视频输出之前执行第二限幅操作。

预滤波

使用低通预处理器去除噪声改进了画面分析的准确度。根据一个实施例， 利用权重w实现2-D预边缘滤波器。在又一个实施例中，可将2-D滤波器分解 成两个1-D滤波器以减少运算的数量。这可表示为：

[1]

考虑具有3x3相邻像素NH9(x)的目标像素x，预边缘滤波器的输出由以下 表示：

[2]

在以上的等式2中，对于等式1中的预_边缘_滤波器_权重的和，∑w(x)＝ 16。最后一项1/2·∑w(x)用于舍入目的。以上的公式由于简单的复杂度而包括 在本实施例中。然而，在其它实施例中，可应用其它的预处理器技术。

内容分析-边缘保护

根据一个实施例，将边缘检测用作内容分析进程以标识有兴趣将被应用于 细节滤波的像素。在这一实施例中，以下示出的索贝尔边缘算子被用作四个方 向中的边缘检测进程。

$E\_h=\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)$$E\_v=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$$E\_P45=\left(\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right)$

$E\_N45=\left(\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right)$

[3]

目标像素x的边缘度量(EM)用公式表示为等式3中的权重与其3x3毗邻 NH9(x)的卷积

EM(x)＝|NH9(x)*E_h|+|NH9(x)*E_v|＝|NH9(x)*E_P45|+| NH9(x)*E_N45|

[4]

根据一个实施例，对于大多数应用，使用两个方向(例如，E_v和E_h) 可能就足够了。在45度的检测以更大的计算复杂度进一步改善了边缘检测。

高频分量提取

在一个实施例中，以上示出的2-D公式在等式5中用于提取高频分量。图 4示出高频分量。如图4所示，高频分量被表示为中心像素Xc的σ

[5]

精化

精化进程包括两个修改进程：归一化和边缘自适应。在一个实施例中， σ(Xc)由先前画面的σ值的最大值σ_最大_先前来归一化，使得：

临时_σ(Xc)＝C*(σ(Xc)/σ_最大_先前-δ)

[7]

在一个实施例中，可由用户指定的参数C是来自边缘检测的权重。在这一 实施例中，像素被分类为强边缘像素、弱边缘像素和非边缘像素。随后，根据 像素的边缘性质指派C值。图5示出常规边缘检测度量上映射边缘检测对滤波 加权的示图的一个实施例。如图5所示，低边缘像素未被高频测量所修改。

等式7中的δ是以上高频分量提取的阈值，其中此修改被添加到重构。在 一个实施例中，该进程由噪声检测水平设置。然而，本文中没有描述这一进程， 以免使本发明的范围混淆。因此，在本实施例中，将σ_最大_先前的10％用作 阈值。

用户偏好

如上所述，这可以通过允许终端用户指定滤波增益因数来修改滤波量以实 现用户偏好来提供。在这一实施例中，调节的量导致等式8中表示的最终调节：

最终_σ(Xc)＝K*临时_σ(Xc)

[8]

在一个实施例中，参数K是用户选择的常数。此外，在等式9中表示为：

输出(Xc)＝限幅(Xc+最终_σ(Xc)

[9]

其中如果x＞255则限幅(x)＝255，如果x＜0则限幅(x)＝0，否则限幅(x)＝x。

上述机制通过用边缘检测利用局部空间内容信息来适配高频分量调节以 提供画面细节的适度增强，由此实现提高的画面质量。此外，预滤波进程提取 更可靠的高频分量和更准确的内容分析。此外，应用有效的高频分量提取限幅 以避免在产生输出时下溢或溢出，进程实现二维2阶导数公式以滤掉高频分量 从而示出画面的细节。此外，通过允许用户指定用于实现用户所要求的观看体 验的增益因数而允许用户配置各种应用。

尽管本发明的很多改变和修改在本领域的普通技术人员阅读上述描述之 后无疑将变得显而易见，但应该理解经由说明示出和描述的任何具体实施例不 应被认为是限制性的。因此，对各实施例的细节的参考不打算限制权利要求的 范围，该权利要求仅列举认为是本发明必不可少的那些特征。