通过在平坦检查中使用相邻像素信息和/或将平滑功能应用于量化参数/像素值以改进视觉的质量的方法和装置

摘要

一种图像处理方法，包含至少以下步骤：将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，每个像素组行包含至少一个像素组，以及图片区域包含水平邻近于彼此的第一图片区域和第二图片区域；以及通过使用从第二图片区域借来的至少一个像素对第一图片区域的像素组行中的特定像素组执行平坦检查。

说明书

相关申请的交叉参考

本申请要求序列号为61/904,490(2013年11月15日申请)的美国临时申请，序 列号为61/895,454(2013年10月25日申请)的美国临时申请，以及序列号为61/895,461 (2013年10月25日申请)的美国临时申请的优先权。相关申请的全部内容参考并 入本文。

技术领域

所公开的本发明的实施例关于图像处理，且更特别地，关于用于通过使用从相邻 图片区域借来的像素执行平坦检查和/或控制涉及编码邻近图片区域的边界的相反侧 上的邻近像素组的量化参数/像素值来改进视觉质量的方法和装置。

背景技术

显示接口可位于应用处理器(Application Processor，AP)和显示驱动器集成电 路(Display Driver Integrated Circuit，DDIC)之间，以从AP发送显示数据到DDIC 用于进一步处理。当显示面板支持更高显示分辨率时，可以实现具有更高分辨率的 2D/3D显示。因此，通过显示接口发送的显示数据会具有更大的数据大小/数据率， 这将不可避免地增加显示接口的功耗。如果AP和DDIC均位于由电池装置供电的便 携式装置(例如，智能手机)中，则电池寿命将由于显示接口增加的功耗而缩短。

类似地，照相机接口可位于照相机模块和图像信号处理器(Image Signal  Processor，ISP)之间，以从照相机模块发送多媒体数据到ISP用于进一步处理。ISP 可以是应用处理器的一部分。当具有更高分辨率的照相机传感器应用于照相机模块 时，所俘获的通过照相机接口发送的图像数据会具有更大的数据大小/数据率，这将 不可避免地增加照相机接口的功耗。如果照相机模块和ISP均位于由电池装置供电的 便携式装置(例如，智能手机)中，则电池寿命将由于照相机接口增加的功耗而缩短。

数据压缩可被采用以减小通过传送接口(例如，显示接口或照相机接口)发送 的图片数据的数据大小/数据率。为了使能在编码器侧、解码器侧或两侧的平行处理， 提出将一个图片分为多个图片区域(例如，切片或图块/图格)。然而，就单个端口 压缩的数据传送应用而言，切片宽度可能不是可以由像素组宽度来平均分割的。类似 地，就多端口压缩的数据传送应用而言，图块/图格宽度可能不是可以由像素组宽度 来平均分割的。典型的编码器设计可采用像素填补以获得需要的像素。例如，一个现 存的像素可以被复制以创建一个或多个填补像素。然而，切片边界条件可使处理更复 杂，且这样的像素填补操作不考虑视觉的质量。另外，邻近图片区域是独立编码的。 邻近图片区域之间边界的视觉的质量可由于分配给边界的相反侧的像素组的量化参 数之间的严重的差异而恶化。

发明内容

根据本发明示范性的实施例，提出通过使用从相邻图片区域借来的像素执行平坦 检查和/或控制涉及编码邻近图片区域的边界的相反侧上的邻近像素组的量化参数/像 素值来改进视觉质量的方法和装置。

根据本发明的第一方面，揭示示范性图像处理方法。示范性图像处理方法包含： 将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，每个像素组 行包含至少一个像素组，且图片区域包含水平邻近于彼此的第一图片区域和第二图片 区域；以及通过使用从第二图片区域借来的至少一个像素对第一图片区域的像素组行 中的具体像素组执行平坦检查。

根据本发明的第二方面，揭示示范性图像处理方法。示范性图像处理方法包含： 将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，且每个像素 组行包含至少一个像素组；通过使用在像素组行的右边缘外的至少一个第一像素，对 图片区域的像素组行中的最后像素组执行平坦检查；以及通过使用在像素组行的右边 缘外的至少一个第二像素，编码图片区域的像素组行中的最后像素组。像素组行的右 边缘不是图片的右边缘，且至少一个第一像素的来源不同于至少一个第二像素的 来源。

根据本发明的第三方面，揭示示范性图像处理方法。示范性图像处理方法包含： 将图片分割为多个图片区域，其中每个图片区域包含多个像素组，图片区域包含第一 图片区域和第二图片区域，且第一图片区域的第一像素组和第二图片区域的第二像素 组邻近于彼此并位于第一图片区域和第二图片区域之间的边界的相反侧；并控制涉及 编码第一像素组的第一数据集以及涉及编码第二像素组的第二数据集，以确保满足至 少一个预定义的准则。

根据本发明的第四方面，揭示图像处理装置。图像处理装置包含分割确定电路和 平坦确定电路。分割确定电路配置为将图片分割为多个图片区域，其中每个图片区域 包含至少一个像素组行，每个像素组行包含至少一个像素组，且图片区域包含水平邻 近于彼此的第一图片区域和第二图片区域。平坦确定电路配置为通过使用从第二图 片区域借来的至少一个像素对第一图片区域的像素组行中的具体像素组执行平坦 检查。

根据本发明的第五方面，揭示示范性图像处理装置。示范性图像处理装置包含分 割确定电路、平坦确定电路和编码电路。分割确定电路配置为将图片分割为多个图片 区域，其中每个图片区域包含至少一个像素组行，且每个像素组行包含至少一个像素 组。平坦确定电路配置为通过使用在像素组行的右边缘外的至少一个第一像素，对图 片区域的像素组行中的最后像素组执行平坦检查。编码电路配置为通过使用在像素组 行的右边缘外的至少一个第二像素，编码图片区域的像素组行中的最后像素组。像素 组行的右边缘不是图片的右边缘，且至少一个第一像素的来源不同于至少一个第二像 素的来源。

根据本发明的第六方面，揭示示范性图像处理装置。示范性图像处理装置包含分 割确定电路和视觉质量增强电路。分割确定电路配置为将图片分割为多个图片区域， 其中每个图片区域包含多个像素组，图片区域包含第一图片区域和第二图片区域，且 第一图片区域的第一像素组和第二图片区域的第二像素组彼此邻近并位于第一图片 区域和第二图片区域之间的边界的相反侧。视觉质量增强电路配置为控制涉及编码第 一像素组的第一数据集以及涉及编码第二像素组的第二数据集，以确保满足至少一个 预定义的准则。

在阅读了图示于附图中的优选实施例的以下详细描述后，本发明的这些和其它目 标对于本领域的普通技术人员毫无疑问地变得清楚。

附图说明

图1是图示根据本发明的实施例的图像处理装置的示意图。

图2是图示根据本发明的实施例的图片的基于切片的分割设定的示意图。

图3是图示根据本发明的实施例的图片中切片的分割设定的示意图。

图4是图示每个具有不能由像素组宽度平均分割的切片宽度的两个切片的示 意图。

图5是图示在显示于图4中的两个切片之间的切片边界附近的像素组上执行所提 出的平坦检查的示意图。

图6是图示用于编码器侧平坦检查的像素的示意图。

图7是图示每个切片包含可以由像素组宽度平均分割的切片宽度的两个切片的 示意图。

图8是图示在显示于图7中的两个切片之间的切片边界附近的像素组上执行的所 提出的平坦检查的示意图。

图9是图示根据本发明的实施例的另一图像处理装置的示意图。

图10是图示根据本发明的实施例的图片的基于图块的分割设定的示意图。

图11是图示根据本发明的实施例的具有由多个显示驱动器集成电路驱动的重叠 的显示区域的显示屏幕的示意图。

图12是图示根据本发明的实施例的图片的另一基于图块的分割设定的示意图。

图13是图示使用多个编码器以编码多个图块的第一操作场景的示意图。

图14是图示使用多个编码器以编码多个图块的第二操作场景的示意图。

具体实施方式

遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意 识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的 部件。在权利要求和下文的描述中，术语“包括”和“包含”用于开放方式，且因此 应该解释为意思是“包含，但不限于”。而且，术语“耦合”意于表示间接或直接电 连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过 经由其它装置和连接的间接电连接。

本发明提出将数据压缩应用到图片，然后通过传送接口发送压缩后的图片。由于 压缩后的图片的数据大小/数据率小于原始未压缩的图片的数据大小/数据率，传送接 口的功耗相应地降低。关于数据压缩，本发明提出通过使用从相邻图片区域借来的像 素执行平坦检查。以此方式，平坦检查结果更准确，由此改进邻近图片区域之间的边 界的视觉的质量。此外，本发明也提出使用平滑功能以控制涉及编码邻近图片区域的 边界的相反侧的邻近像素组的量化参数/像素值。失真问题可以缓解或避免，由此改 进邻近图片区域之间的边界的视觉的质量。以示例的方式，但并非限制，所提出的平 坦检查和/或所提出的平滑功能可以由编码标准采用，例如，视频电子设备标准关联 (VESA)显示流压缩(DSC)，以达到更好的视觉的质量。所提出的平坦检查和平 滑功能的进一步细节将描述于下。

图1是图示根据本发明的实施例的图像处理装置的示意图。图像处理装置100 包含压缩器102和输出接口104。压缩器102可包含分割确定电路111、平坦确定电 路112、填补电路113、编码电路114、率控制器115、视觉质量增强电路116以及配 置电路118。应该注意到，仅仅与本发明有关的电路部件显示于图1。在实践中，图 像处理装置100可配置为具有附加的电路部件。

压缩器102配置为压缩(即，编码)图片IMG以生成压缩后的图片。输出接口 104耦合于压缩器102和传送接口101之间，且配置为传送压缩后的图片(即，图片 IMG的编码后的数据)作为通过传送接口101的比特流BS。具体地，图像处理装置 100位于编码器侧，且通过传送接口101的单个传送端口103生成比特流BS到解码 器侧。

在一个示范性实现中，图像处理装置100可以实施于照相机模块中，并可发送比 特流BS到图像信号处理器(ISP)。ISP可以是应用处理器(AP)的部分。因此， 即将由所提出的图像处理装置100处理的图片IMG可以从照相机模块中的照相机传 感器的输出派生。此外，传送接口101可以是由移动产业处理器接口(MIPI)标准化 的照相机串行接口(CSI)，且传送端口103可以是CSI的照相机端口。

在另一示范性实现中，图像处理装置100可以实施于AP中，并可发送比特流 BS到显示驱动器集成电路(DDIC)。因此，即将由所提出的图像处理装置100处理 的图片IMG可以在AP中生成。此外，传送接口101可以是由移动产业处理器接口 (MIPI)标准化的显示串行接口(DSI)，且传送端口103可以是DSI的显示端口。

分割确定电路111配置为将图片IMG分割为多个图片区域。在本实施例中，单 个端口压缩的数据传送由图像处理装置100采用。因此，由分割确定电路11确定的 每个图片区域是切片。在分割应用到图片IMG后，图片IMG可以看成具有垂直布置 的切片行。在本发明中，每个切片行是水平布置的多个切片的组合。因此，图片IMG 在水平邻近切片之间具有至少一个切片边界。

例如，由分割确定电路111确定的分割设定可以由平坦确定电路112参考，用于 选择正确的像素来接受平坦检查。然而，此并非作为本发明的限制。对于另一示例， 配置电路118配置为储存配置信息。因此，平坦确定电路112可参考由配置电路118 给出的配置信息，用于选择正确的像素以接受平坦检查。此也落入本发明的范围。

图2是图示根据本发明的实施例的图片IMG的基于切片的分割设定的示意图。 以示例的方式，但并非限制，分割设定可以由分割确定电路111确定。在此示例中， 图片IMG分割为八个切片，包含垂直布置的切片(H1，V1)、切片(H1，V2)、 切片(H1，V3)、切片(H1，V4)以及垂直布置的切片(H2，V1)、切片(H2， V2)、切片(H2，V3)、切片(H2，V4)。所有切片具有相同的切片大小。具体地， 每个切片具有相同的切片宽度W_S和相同的切片高度H_S。图片IMG的原始图片高度 H_P可能不能由切片高度H_S平均的分割。填补电路113可在图片IMG的最后一行(即， 最后的像素行)下面增加填补像素，以作为切片(H1，V4)和切片(H2，V4)的部 分。以此方式，每个切片具有相同的切片高度H_S。不属于原始图片IMG的伪图片区 域可以创建，以促进数据压缩。在本实施例中，使得最后切片行具有所希望的切片高 度H_S的在图片IMG的最后一行(即，最后的像素行)下面的填补像素可形成一个伪 图片区域。在由于像素填补而增加伪图片区域后，图片高度H_P扩展到覆盖此伪图片 区域。另外，切片宽度W_S也可能不能由像素组宽度所平均分割。填补电路113还可 在切片的右边缘外增加填补像素。因为编码电路114采用基于像素组的损耗压缩方 案，这些由填补电路113增加的填补像素由编码电路114需要，用于成功地编码切片。

图片IMG中的所有切片具有由切片高度H_S和切片宽度W_S定义的相同的切片大 小。因此，图片IMG根据切片高度H_S分割为多个切片行。每个切片行根据切片宽度 W_S分割为多个切片，其中切片在相同的切片行中水平地布置。基于组大小(即，包 含多个像素的像素组的大小)，每个切片分割为多个像素组，每个用作由编码电路 114处理的基本压缩单元(即，基本编码单元)。例如，每个像素组可以是mxn像 素块，其中m表示像素组高度，n表示像素组宽度，且m和n是正整数。当m＝1时， 每个像素组是一维像素块。当m>1，每个像素组是二维像素块。

图3是图示根据本发明的实施例的图片IMG中的切片SL的分割设定的示意图。 例如，切片SL可以是切片(H1，V1)-切片(H1，V4)以及切片(H2，V1)-切片 (H2，V4)中的一个。每个切片可包含至少一个像素组行，且每个像素组行可包含 至少一个像素组。在此示例中，切片SL具有四个像素组行，其中每个像素组行定义 为具有多个像素组，且每个像素组定义为包含三个像素。例如，像素组G1具有像素 P1-P3。应该注意到，多个像素组可以看作一个超级组。如图3所示，切片SL中有十 个超级组SG1-SG10，其中每个超级组具有四个像素组。例如，超级组SG1具有像素 组G1-G4。包含一个像素组行中的像素组的超级组可环绕()以包含下一像素组行中 的像素组，例如，SG3和SG8。

切片宽度W_S可能不能由像素组宽度(例如，一维组像素的组大小)平均分割。 因此，需要在每个切片的右边缘进行像素填补。例如，当切片SL是切片(H2，V1) -切片(H2，V4)中的一个切片时，切片SL的右边缘也是图片IMG的右边缘。图片 IMG的每行(即，像素行)中的最右边的像素重复，导致填补像素添加到切片行中 的最右边切片。即，在每个最右边切片的右边缘外的填补像素的来源是最右边切片的 像素组行中的最后像素组。对于另一示例，当切片SL是切片(H1，V1)-切片(H1， V4)中的一个切片时，切片SL的右边缘不是图片IMG的右边缘，且设置填补像素 在切片SL的右边缘外的方法取决于切片SL的像素组行中的最后像素组的编码模式。 具体地，就切片SL的每行(即，像素行)而言，一个或多个填补像素可以至少部分 基于最右边像素属于的像素组的编码模式(例如，P-模式或ICH-模式)来添加到最 右边像素的右边。如果最后的像素组以ICH-模式编码，用于最右边像素的索引将被 复制以填补熵编码单元以包含3个索引。如果最后的像素组以P-模式编码，与切片 的右边缘外的像素相一致的任何残差将设置为零。

应该注意到，显示于图2和图3中的填补像素由编码电路114执行的编码操作(例 如，编码(P-模式)的预测模式或索引颜色历史(ICH)编码)来使用。在本实施例 中，当所需要的像素在切片的像素组行中不可用时，所提出的平坦确定电路112不一 定使用填补像素来进行平坦检查。例如，在某些切片边界条件下，所提出的平坦确定 电路112允许通过使用从相邻切片借来的像素执行平坦检查。因此，在当前切片中的 像素组行的右边缘外并由一个平坦检查处理过的像素来源，不同于在当前切片中的像 素组行的右边缘外并由一个编码操作(即，一个编码工具)处理过的像素来源。

如上所述，一组四个连续像素组(例如，四个1x3像素组)被称作超级组。在编 码电路114编码超级组之前，平坦确定电路112对超级组中的每个像素组执行平坦检 查，以确定任何像素组是否“非常平坦”或“有些平坦”。具体地，平坦检查可以独立地 为超级组中的每个像素组而完成，并包含对于每个像素组的平坦类型(“有些平坦” 或“非常平坦”)的确定。因此，对于给定超级组，平坦确定电路112输出四个平坦 指示(超级组中的每个像素组一个)到率控制器115，其中每个平坦指示可指示“不 平坦”、“有些平坦”或“非常平坦”。率控制器115配置为将位率控制应用到每个 压缩操作，以确保切片的编码后的数据满足分配给切片的位预算。例如，率控制器 115确定分配给切片的位预算，并适应性地调整由编码电路114使用的量化参数 (QP)，用于编码切片中的像素组。率控制器115可参考像素组的平坦信号，以确 定是否进行QP调整。编码电路114可采用损耗压缩以基于QP值压缩像素组。因为 由平坦确定电路112生成的平坦确定结果可影响用于编码像素组的QP值，因此， 当压缩后的像素组解压缩并显示时，平坦检查影响像素组的视觉的质量。为了改进切 片边界上的视觉的质量，所提出的平坦确定电路112不使用在切片的右边缘外添加的 填补像素(即，从复制切片的像素组行中的最右边/最后像素获得的像素)。所提出 的平坦检查设计的进一步细节在以下给出。

请结合图5来参考图4。图4是图示每个切片包含不能由像素组宽度平均分割的 切片的两个切片的示意图。图5是图示在靠近显示于图4中的两个切片之间的切片边 界的像素组执行所提出的平坦检查的示意图。在本实施例中，由分割确定电路111 确定的切片包含水平彼此邻近的第一切片SL1和第二切片SL2。换句话说，第一切 片SL1和第二切片SL2属于相同的切片行。假设切片宽度是400，且像素组是具有3 个像素的一维像素组(即，m＝1且n＝3)。因为每个超级组定义为具有四个像素组， 像素组行中的最右边/最后超级组可环绕以包含下一像素组行中的像素组。如可以从 图4中看出的，切片SL1的超级组SG34包含切片SL1的像素组行PGL_1,1中的像素 组以及切片SL1的下一像素组行PGL_1,2中的像素组。类似地，切片SL2的超级组 SG34包含切片SL2的像素组行PGL_2,1中的像素组以及切片SL2的下一像素组行 PGL_2，2中的像素组。应该注意到，像素组行PGL_1,1和PGL_2,1水平地彼此邻近，且像 素组行PGL_1，2和PGL_2，2水平地彼此邻近。

另外，因为切片宽度不能由像素组宽度平均地分割，所以切片的每个像素组行中 的最右边/最后像素组不能具有最初包含于切片的3个真实像素。如可以从图5中看 出的，像素组G133是切片SL1中的超级组SG34的第一像素组，并包含像素组行 PGL_1,1中的真实像素P_1,397、P_1,398、P_1,399；且像素组G134是切片SL1中的超级组SG34 的第二像素组，并包含像素组行PGL_1，1中的单个真实像素P_1,400。具体地，像素组 G133是像素组行PGL_1,1中的倒数第二像素组，且像素组G134是像素组行PGL_1,1中的最后的像素组。

当所需要的像素在当前切片SL1中不可用时，平坦确定电路112配置为从不同 的切片借来真实像素，例如，相邻切片SL2的水平邻近的像素组线PGL_2,1中的像素。 如图5所示，平坦确定电路112将像素组G134看成包含3个像素，其中一个像素P_1,400为切片SL1的像素组行PGL_1,1中的最右边/最后的像素，且剩余像素P_2,1和P_2,2是从 切片SL2的像素组行PGL_2,1借来的真实像素。另外，更多的像素P_2，3、P_2，4、P_2，5可以当平坦确定电路112对切片SL1的像素组行PGL_1，1中的最后的像素组G134执 行平坦检查时，从切片SL2的像素组行PGL_2,1借用。像素P_2,1-P_2,3属于切片SL2中 的超级组SG1的像素组G1，以及像素P_2,4-P_2,5属于切片SL2中的超级组SG1的像素 组G2。

根据VESA DSC，平坦确定应用于一组像素，并可包含第一检查准则(称为平坦 检查1)和第二检查准则(称为平坦检查2)。图6是图示用于编码器侧的平坦检查 的像素的示意图。当前像素组包含像素b、c、d。像素a、b、c、d用于平坦检查1。 像素b、c、d、e、f、g用于平坦检查2。因此，当显示于图5中的像素组G133是由 平坦确定电路112检查的当前像素组且平坦检查1指示像素组G133既不是“有些平 坦”也不是“非常平坦”时，平坦检查2在六像素P_1,397、P_1,398、P_1,399、P_1,400、P_2,1、 P_2,2上执行。当显示于图5中的像素组G134是由平坦确定电路112检查的当前像素 组时，平坦检查1在四个像素P_1,399、P_1,400、P_2,1、P_2,2上执行以确定“有些平坦”检查 和“非常平坦”检查中的至少一个可以通过。当平坦检查1指示像素组G134既不是 “有些平坦”也不是“非常平坦”时，平坦检查2在六个像素P_1,400、P_2,1、P_2,2、P_2,3、 P_2,4、P_2,5上执行。由于包含于当前切片SL1中的以及从相邻切片SL2借来的真实像 素用来对当前切片SL1的每个像素组行中的最后像素组和倒数第二像素组执行平坦 检查，由于从切片边界周围的真实像素获得的更准确的平坦确定，可改善切片边界的 视觉的质量。

编码电路114配置为基于由率控制器115设定的量化参数，编码第一切片SL1 中的所有像素组和第二切片SL2中的所有像素组。由于图像处理装置100应用于单 个端口压缩的数据传送应用，输出接口104因此经由传送接口101的一个传送端口 103发送比特流BS，其中比特流BS包含至少第一切片SL1的编码后的数据以及第 二切片SL2的编码后的数据。

在图4和图5示出的示例中，切片宽度不能平均地由像素组宽度(例如，一维像 素组的一组大小)分割。然而，从相邻切片借用像素以实现更好的平坦检查准确度的 相同概念，也可应用于切片宽度能由像素组宽度平均分割的情况。

请参考图7结合图8。图7是图示每个切片具有能由像素组宽度平均地分割的切 片宽度的两个切片的示意图。图8是图示在显示于图7的两个切片之间的切片边界附 近的像素组上执行所提出的平坦检查的示意图。在本实施例中，由分割确定电路111 确定的切片包含水平邻近于彼此的第一切片SL1’和第二切片SL2’。换句话说，第一 切片SL1’和第二切片SL2’属于相同的切片行。假设切片宽度是3N(N是正整数)， 且像素组是具有三个像素的一维像素组(即，m＝1和n＝3)。如上所述，每个超级组 定义为包含四个像素组。基于切片宽度的设定，像素组行中的最右边/最后超级组仍 然可能围绕以包含下一像素组行中的像素组。如可以从图7中看出的，切片SL1’的 超级组SG_M包含切片SL1’的像素组行PGL_1,1中的像素组以及切片SL1’的下一像素组 行PGL_1,2中的像素组。类似地，切片SL2’的超级组SG_M包含切片SL2’的像素组行 PGL_2,1中的像素组以及切片SL2’的下一像素组行PGL_2,2中的像素组。应该注意到， 像素组行PGL_1,1和PGL_2,1水平彼此邻近，且像素组行PGL_1,2和PGL_2,2水平彼此邻近。

另外，因为切片宽度由像素组宽度平均地分割，切片的每个像素组行中的最右边 /最后的像素组确保具有最初包含于切片的3个真实像素。例如，切片SL1’中的超级 组SG_M的第一像素组可以是包含切片SL1的像素组行PGL_1,1中的像素P_1,3N-5、 P_1,3N-4、P_1,3N-3的像素组G(N-1)，以及切片SL1’中的超级组SG_M的第二像素组可以 是包含切片SL1’的像素组行PGL_1，1中的像素P_1,3N-2，P_1,3N-1，P_1,3N的像素组GN。具 体地，像素组G(N-1)是像素组行PGL_1,1中的倒数第二像素组，以及像素组GN是 像素组行PGL_1，1中的最后像素组。

当所需要的像素在当前切片SL1’中不可用时，平坦确定电路112配置为从不同 的切片借用真实像素，例如，相邻切片SL2’的水平邻近像素组行PGL_2,1中的像素。 如图8所示，当平坦确定电路112在切片SL1’的像素组行PGL_1,1中的最后像素组 GN执行平坦检查时，像素P_2,1、P_2,2、P_2,3可以从切片SL2’的像素组行PGL_2,1借用。 像素P_2,1-P_2,3属于切片SL2’中的超级组SG1的像素组G1。

因为显示于图8中的像素组GN具有最初包含于第一切片SL1’的三个像素，当 像素组G(N-1)是由平坦检查3检查的当前像素组时，不需要使用从第二切片SL2’ 借来的像素。当显示于图8中的像素组GN是由平坦确定电路112检查的当前像素组 时，平坦检查1在四个像素P_1,3N-3、P_1,3N-2、P_1,3N-1、P_1,3N上执行，以确定是否“有些平 坦”检查和“非常平坦”检查的至少一个可通过。当平坦检查1指示像素组GN既不是 “有些平坦”也不是“非常平坦”时，平坦检查2在六个像素P_1,3N-2、P_1,3N-1、P_1,3N、P_2,1、 P_2,2、P_2,3上执行。由于包含于当前切片SL1’中的以及从相邻切片SL2’借的真实像素 用于对当前切片SL1’的每个像素组行中的最后像素组执行平坦检查，所以在切片边 界提供更好的视觉质量的相同的目标可以实现。

在显示于图4-图5和图7-图8的以上示例中，每个切片行具有两个切片，以便 切片行中仅有单个切片边界。然而，此仅仅是用于说明性的目的，且并非是作为本发 明的限制。在实践中，从相邻切片借用像素以实现更好的平坦检查准确度的相同的概 念，也适用于每个切片行具有多于两个切片的情况，即，多于一个切片边界。考虑一 个切片行中切片的目标数量设置为三个的情况。因此，一个切片行中有水平布置的三 个切片，其中一个切片边界位于最左边切片和中间切片之间，且另一切片位于中间切 片和最右边切片之间。如果前述切片边界是位于最左边切片和中间切片之间的切片边 界，则前述第一切片SL1/SL1’将是切片行中的最左边切片，以及前述第二切片 SL2/SL2’将是相同的切片行中的中间切片。如果前述切片边界是位于中间切片和最右 边切片之间的切片边界，则前述第一切片SL1/SL1’将是切片行中的中间切片，以及 前述第二切片SL2/SL2’将是相同的切片行中的最右边切片。

如上所述，率控制器115配置为分配量化参数到即将由编码电路114编码的每个 像素组。然而，邻近切片(例如，显示于图4中的SL1和SL2，或显示于图7中的 SL1’和SL2’)独立地编码。如果对于分配给切片边界的相反侧的邻近像素组的量化 参数没有限制，则可能在量化参数之间存在较大差异，因此导致切片边界降级了的视 觉的质量。本发明因此提出平滑功能，用于缓解或避免切片边界的不希望的视觉的质 量降级。

请再次参考图1。视觉质量增强电路116耦合到率控制器115和编码电路114， 并配置为控制涉及编码第一像素组的第一数据集(例如，第一量化参数，和/或第一 像素的像素值)以及涉及编码第二像素组的第二数据集(例如，第二量化参数，和/ 或第二像素的像素值)，以确保满足至少一个预定义的准则，其中第一图片区域的第 一像素组和第二像素组的第二像素组彼此邻近，并位于第一图片区域和第二图片区域 之间的边界的相反侧。在本实施例中，第一图片区域和第二图片区域是水平邻近于彼 此的切片(例如，显示于图4中的SL1和SL2，或显示于图7中的SL1’和SL2’)。

当至少一个预定义的准则没有满足时，视觉质量增强电路116命令率控制器115 (或编码电路114)，以调整第一数据集和第二数据集的一个或二者。因此，视觉质 量增强电路116可将限制应用于分配到切片边界的相反侧的邻近像素组的量化参数 (或将限制应用于切片边界的相反侧的邻近像素组中的像素的像素值)。以此方式， 切片边界的视觉的质量可改善。

视觉质量增强电路116可检查一个或多个预定义的准则，这些准则用于限制涉及 编码切片边界的相反侧上的邻近像素组的数据集。例如，至少一个预定义的准则可包 含用于检测第一像素组的失真的第一预定义的准则以及用于检测第二像素组的失真 的第二预定义的准则。因此，视觉质量增强电路116可控制第一像素组的失真小于第 一失真阈值，由此满足第一预定义的准则，并可控制第二像素组的失真小于第二失真 阈值，由此满足第二预定义的准则。应该注意到，依据实际设计考虑，第一阈值可以 是不同于或等于第二阈值。

在一个实施例中，视觉质量增强电路116可通过影响量化参数来控制失真。例如， 如果分配给量化参数的值较大，则通过使用量化参数编码像素组导致的失真更高。因 此，合适地调整用于编码切片边界的相反侧上的像素组的量化参数能够平滑解码器侧 中的对应的编码后的像素组之间的失真差异。在量化参数不被发信号或编码于比特流 BS中的情况下，编码器可用其他方法通知解码器。在一个实施例中，图像处理装置 100可通知平坦位置和类型以影响在解码器侧执行的率控制功能。

在另一实施例中，视觉质量增强电路116可通过改变即将编码的像素值来控制失 真。以图8为例，视觉质量增强电路116可改变GN(P_1,3N-2，P_1,3N-1，P_1,3N)的一个 或多个像素值和/或G1(P_2,1，P_2,2，P_2,3)的一个或多个像素值，以便可以满足预定义 的准则。

对于另一示例，上述至少一个预定义的准则可包含用于检测第一像素组的失真和 第二像素组的失真的预定义的准则。因此，视觉质量增强电路116可控制第一像素组 的失真和第二像素组的失真之间的差别小于差别阈值，由此满足预定义的准则。

对于又一示例，上述至少一个预定义的准则可包含用于检测第一数据集(例如， 第一量化参数，和/或即将编码的第一像素的像素值)和第二数据集(例如，第二量 化参数，和/或即将编码的第二像素的像素值)之间的差别的预定义的准则。因此， 视觉质量增强电路116可控制第一数据集和第二数据集之间的差别小于差别阈值，由 此满足预定义的准则。

另外，至少一个预定义的准则可以基于平坦检查结果(可以从执行平坦检查派生) 和活动检查结果(可以从分析图像内容派生，例如，边缘、纹理等)的至少一个来适 应性地调整。例如，平坦检查结果和/或活动检查结果可影响用于判断是否满足至少 一个预定义的准则的阈值设定。

所提出的平坦检查(使用从相邻图片区域借用的像素)和所提出的平滑功能(应 用到邻近图片区域的边界的相反侧上的像素组的量化参数，或邻近图片区域的边界的 相反侧上的像素组中的像素的像素值)的一个或两个还可由多端压缩的数据传送应用 中的图像处理装置所采用。

图9是图示根据本发明的实施例的另一图像处理装置的示意图。图像处理装置 900包含压缩器902和输出接口904。压缩器902可包含分割确定电路911、平坦确 定电路912、填补电路913、编码电路914、率控制器915、视觉质量增强电路916 和配置电路918。应该注意到，仅仅关于本发明的电路部件显示于图9。在实践中， 图像处理装置900可以配置为包含附加的电路部件。

压缩器902配置为压缩(即，编码)图片IMG，以生成压缩后的图片。在本实 施例中，图片IMG分割为多个图块，且压缩器902压缩图块以生成多个压缩后的图 块。应该注意到，即将编码用于多端压缩数据传送的图片区域的不同命名可以由不同 的编码标准使用。为了清楚和简明，术语“图块()”在下文中使用。然而，此并非用 于作为本发明的限制。以示例的方式，术语“图块”和术语“图格()”可以互换的。在 本实施例中，输出接口904耦合于压缩器902和传送接口901之间，并配置为分别经 由传送接口901的多个传送端口903_1-903_K发送压缩后的图块(即，相同的图片 IMG中的图块的编码后的数据)。

图10是图示根据本发明的实施例的图片IMG的基于图块的分割设定的示意图。 在此示例中，分割确定电路911可相等地分割图片IMG为两个图块图块_1和图块_2。 图块_1和图块_2的每个具有图块宽度W_T和图块高度H_T，其中图片宽度W_P是图块 宽度W_T的两倍，且图片高度H_P等于图块高度H_T。假设图片宽度W_P是1200，图块 _1指示像素行1-600，且图块_2指示像素行601-1200。压缩器902压缩图块_1，以 生成图块_1的编码后的数据到输出接口904，且输出接口904根据图块_1的编码后 的数据输出一个比特流(例如，BS₁)到一个传送端口(例如，903_1)。此外，压缩 器902压缩图块_2，以生成图块_2的编码后的数据到输出接口904，且输出接口904 根据图块_2的编码后的数据输出另一比特流(例如，BS_K)到另一传送端口(例如， 903_K)。具体地，图像处理装置900位于编码器侧，并通过传送接口901的多个传 送端口903_1-903_K生成多个比特流BS₁-BS_K到解码器侧，其中K的值取决于包含 于相同的图片IMG中的图块的数量。

例如，由分割确定电路911确定的分割设定可以由平坦确定电路912参考，用于 选择正确的像素来接受平坦检查。然而，此并非用于作为本发明的限制。对于另一示 例，配置电路918配置为储存配置信息。因此，平坦确定电路912可参考由配置电路 918给出的配置信息，用于选择正确的像素以接受平坦检查。此也落入本发明的范围。

在一个示范性实现中，图像处理装置900可以实现于照相机模块中，并可分别发 送比特流BS₁-BS_K到多个ISP。每个ISP可以是AP的部分。因此，即将由所提出的 图像处理装置900处理的图片IMG可以从照相机模块中的照相机传感器的输出派生。 此外，传送接口901可以是MIPI CSI，以及传送端口903_1-903_K可以是CSI的不 同的照相机端口。

在另一示范性实现中，图像处理装置900可以实施于AP中，并可分别发送比特 流BS₁-BS_K到多个DDIC。因此，即将由所提出的图像处理装置900处理的图片IMG 可以在AP中生成。此外，传送接口901可以是MIPI DSI，以及传送端口903_1-903_K 可以是DSI的不同的显示端口。

如图9所示，图像处理装置900配置为使用单个编码器(即，一个压缩器902)， 用于以顺序方式编码图片IMG的多个图块。然而，此并非用于作为本发明的限制。 在备选设计中，图像处理装置900可以配置为具有多个编码器(即，多个压缩器，每 个使用压缩器902来实施)，用于以并行的方式编码图片IMG的多个图块。

显示于图9中的压缩器902中的电路部件的功能和操作类似于显示于图1中的压 缩器102中的电路部件的功能和操作。主要差别是压缩器102采用所提出的平坦检查 和/或所提出的平滑功能，以改进切片边界的视觉的质量，压缩器902采用了所提出 的平坦检查和/或所提出的平滑功能，以改进图块边界的视觉的质量。

分割确定电路111和911的每个配置为将图片分割为多个图片区域。关于分割确 定电路111，每个图片区域是切片。关于分割确定电路911，每个图片区域是图块。

平坦确定电路112和912的每个配置为通过使用从第二图片区域借用的至少一个 像素，在第一图片区域的像素组行中的具体像素组上执行平坦检查。关于平坦确定电 路112，第一图片区域和第二图片区域是水平邻近于彼此的切片。关于平坦确定电路 912，第一图片区域和第二图片区域是水平邻近于彼此的图块。以示例的方式，但并 非限制，显示于图10的图块_1和图块_2的每个图块可仅仅具有单个切片。因此，显 示于图4中的切片SL1和SL2可以看作图块_1和图块_2，以及显示于图7中的切片 SL1’和SL2’可以看作图块_1和图块_2。因此，应用于切片SL1和SL2用于改进切片 SL1和SL2之间的切片边界的视觉质量的相同的平坦检查技术，还可应用于图块_1 和图块_2用于改进图块_1和图块_2之间的图块边界的视觉质量，切片SL1和SL2 的每个切片具有不能由像素组宽度(例如，一维组像素的组大小)平均地分割的切片 宽度W_S，图块_1和图块_2的每个图块具有不能由像素组宽度(例如，一维组像素的 组大小)平均地分割的图块宽度W_T；以及应用于切片SL1’和SL2’用于改进切片SL1’ 和SL2’之间的切片边界的视觉的质量的相同的平坦检查技术还可应用于图块_1和图 块_2用于改进图块_1和图块_2之间图块边界的视觉的质量，切片SL1’和SL2’的每 个切片具有可由像素组宽度(例如，一维组像素的组大小)平均地分割的切片宽度 W_S，图块_1和图块_2的每个图块具有可由像素组宽度(例如，一维组像素的组大小) 平均地分割的图块宽度W_T。

视觉质量增强电路116和916的每个配置为控制涉及编码第一像素组的第一数据 集(例如，第一量化参数，和/或第一像素的像素值)以及涉及编码第二像素组的第 二数据集(例如，第二量化参数，和/或第二像素的像素值)，以确保满足至少一个 预定义的准则，其中第一图片区域的第一像素组以及第二像素组的第二像素组彼此邻 近并位于第一图片区域和第二图片区域之间的边界的相反侧。关于视觉质量增强电路 116，第一图片区域和第二图片区域是水平邻近于彼此的切片(例如，显示于图4中 的SL1和SL2，或显示于图7中的SL1’和SL2’)。关于视觉质量增强电路916，第 一图片区域和第二图片区域是水平邻近于彼此的图块(例如，显示于图10中的图块 _1和图块_2)。应用于分配给切片边界的相反侧上的像素组的量化参数的相同的平 滑功能还可以应用于分配给图块边界的相反侧上的像素组的量化参数。另外，应用于 切片边界的相反侧上的像素组中的像素的像素值的相同的平滑功能还可以应用于图 块边界的相反侧上的像素组中的像素的像素值。

在阅读了指向平坦检查(使用从相邻切片借用的像素)和平滑功能(应用于切片 边界的相反侧上的像素组的量化参数，或切片边界的相反侧上的像素组中的像素的像 素值)后，本领域的技术人员可以容易理解平坦检查(使用从相邻图块借用的像素) 和平滑功能(应用于图块边界的相反侧上的像素组的量化参数，或图块边界的相反侧 上的像素组中的像素的像素值)的细节，为了简洁此处省略进一步的描述。

类似于填补电路113，填补电路913配置为添加需要用于编码像素组的填补像素。 率控制器915配置为将位率控制应用于由编码电路914执行的每个压缩操作。例如， 率控制器915确定图块中每个切片的位预算，并分配量化参数到即将编码的每个像素 组。类似于率控制器115，率控制器915可基于平坦确定结果调整量化参数和/或可以 由视觉质量增强电路916命令以对量化参数约束。编码电路914配置为编码图片IMG 中的图块(例如，显示于图10中的图块_1和图块_2)，并生成编码后的图块(例如， 图块_1和图块_2编码后的数据)到输出接口904。接着，输出接口904经由相同的 传送接口的不同的传送端口发送比特流。例如，经由第一传送端口发送的第一比特流 包含至少图块_1的编码后的数据，经由第二传送端口发送的第二比特流包含至少图 块_2的编码后的数据。

如上所述，当图像处理装置900实施于AP中时，图像处理装置900通过显示接 口(例如，MIPI DSI)的显示端口生成比特流BS₁-BS_K到多个DDIC。DDIC用于驱 动显示屏幕的不同显示区域。因此，每个DDIC包含解压缩器和显示驱动器，其中解 压缩器用于解压缩经由比特流BS₁-BS_K中的一个发送的编码后的图块，以生成重建后 的图块，且显示驱动器用于根据重建后的图块的像素数据来驱动指定的显示区域。在 由DDIC驱动的显示区域是显示屏幕的非重叠区域的情况中，图片IMG可以分为非 重叠图块，例如，显示于图10中的图块_1和图块_2。然而，当DDIC要求以驱动显 示屏幕的重叠的显示区域时，分割确定电路911不得不考虑两个邻近图块的重叠的区 域。图11是图示根据本发明的实施例的具有由多个DDIC驱动的重叠的显示区域的 显示屏幕的示意图。在此示例中，显示屏幕110具有多个像素行C1-C9。如可以从图 11中看出，每个像素行C1-C4完全由第一DDIC驱动(由DDIC-T0指代)，且每个 像素行C6-C9完全由第二DDIC驱动(由DDIC-T1指代)。然而，像素行C5部分 地由DDIC-T0驱动以及部分地由DDIC-T1驱动。因此，DDIC-T0和DDIC-T1需要 接收重叠的像素行C5的像素数据。应该注意到，不同的显示屏幕可具有不同的重叠 的区域配置，例如，不同的重叠的区域大小、不同的重叠的区域形状、不同的重叠的 区域图案等。此外，数据通信信道(DCC)可用于在DDIC之间传送数据。例如，重 叠的区域的像素数据可以直接从DDIC-T0传送到DDIC-T1。对于另一示例，DDIC-T0 可将某些图像处理应用于重叠的区域的像素数据，并转移重叠区域的处理后的像素数 据到DDIC-T1。

图12是图示根据本发明的实施例的图片IMG的基于另一图块的分割设定的示意 图。基于显示屏幕的驱动要求，分割确定电路911还配置为将图片IMG分割为重叠 的图块，以覆盖任何重叠的区域。在此示例中，分割确定电路911可相等地将图片IMG 分为两个重叠的图块图块_1’和图块_2’。每个重叠的图块图块_1’和图块_2’具有相同 的图块宽度W_T’。假设图片宽度W_P是1200，图块宽度W_T’可以由601来设定。因此， 重叠的图块图块_1’包含像素行1-601，且重叠的图块图块_2’包含像素行600-1200。 如图12所示，重叠的图块图块_1’具有右边缘EG_1，且重叠的图块图块_2’具有左边 缘EG_2。右边缘EG_1和左边缘EG_2将定义重叠的区域OA，包含像素行600和 601。重叠的图块图块_1’的编码后的数据可以发送到一个DDIC(例如，图11中的 DDIC-T0)，且重叠的图块图块_2’的编码后的数据可以发送到另一DDIC(例如，图 11中的DDIC-T1)。

本发明还提出从图块识别限制区域。在限制区域中，限制了压缩的功能。此外， 不同的编码工具和/或不同的压缩规格可具有不同的限制区域。例如，由P模式编码 所使用的限制区域可以不同于由ICH编码所使用的限制区域。限制区域可包含图块 的重叠的区域以及图块的局部非重叠的区域。例如，从重叠的图块图块_1’识别的限 制区域LR_1可包含像素行598-601，以及从重叠的图块图块_2’识别的限制区域LR_2 可包含像素行600-602。

如图12所示，图片IMG相等地分割为重叠的图块图块_1’和图块_2’，图块_1’ 和图块_2’具有相同的图块宽度W_T’。宽度W_T’取决于图片宽度W_P，且不保证是像素 组宽度的整数倍数。在备选设计中，分割确定电路911可以配置为将每个图块宽度设 置为像素组宽度的整数倍数。假设每个像素组是具有三个像素的一维像素组。因此， 像素组宽度将会是3。在使用对称分割风格的情况中，图块宽度W_T’(通过将图片IMG 分割为大小相等的重叠的图块获得的)可以扩展为像素组宽度的整数倍数的值，由此 对应地扩展重叠区域OA。此外，重叠图块的图块_1’的原始左边缘(即，像素行1) 保持不变，且重叠图块的图块_2’的原始右边缘(即，像素行1200)保持不变。例如， 当图块宽度W_T’扩展到603时，重叠图块的图块_1’将包含像素行1-603，以及重叠图 块的图块_2’将包含像素行598-1200。

在使用另一对称分割风格的情况中，图块宽度W_T’(通过将图片IMG分割为大 小相等的重叠的图块获得的)可以扩展为是像素组宽度的整数倍数的值，其中重叠图 块的图块_1’的原始左边缘(即，像素行1)保持不变，以及重叠图块的图块_2’的原 始左边缘(即，像素行600)保持不变。例如，当图块宽度W_T’扩展到603时，重叠 图块的图块_1’将包含像素行1-603，以及重叠图块的图块_2’将包含像素行600-1202， 其中每个像素行1201和1202是填补像素行，每个填补像素行通过复制图片IMG的 最右边/最后的像素行1200来生成的。

在非对称分割风格的情况中，图片IMG可以分割为具有不同的图块宽度的非重 叠图块，其中每个图块宽度是像素组宽度的整数倍数。重叠区域的像素数据由一个 DDIC解码(例如，图11中的DDIC-T0)，并然后通过DCC传送到另一DDIC(例 如，图11中的DDIC-T1)。例如，当一个图块宽度W_T’(通过将图片IMG分割为 大小相等的重叠的图块获得的)扩展到603并且其它的图块宽度W_T’(通过将图片 IMG分割为大小相等的重叠的图块获得的)收缩到597时，重叠图块的图块_1’变为 包含像素行1-603的非重叠图块，以及重叠图块图块_2’变为包含像素行604-1200的 非重叠图块。因为重叠区域的所要求的像素数据通过DCC从DDIC-T0到DDIC-T1 给出，使用DDIC以驱动显示屏幕的重叠的显示区域的相同的目标可以实现。

如上所述，多个编码器(例如，压缩器902)可用于以并行的方式编码/压缩图块。 当邻近图块由不同的编码器处理时，图像处理装置应该照看所提出的平坦检查和所提 出的平滑功能，以确保切片边界/图块边界上的正常操作。

图13是图示使用多个编码器以编码多个图块的第一操作场景的示意图。在此示 例中，编码器1用于编码图块1，且编码器2用于编码图块2。图块1和图块2的像 素数据可以直接从缓冲器获取。就分别属于图块1和图块2的水平邻近组行(即，像 素组行)而言，编码器1首先操作，且编码器2可在当图块1的图块边界信息INF 对编码器2可用的时间附近触发。图块1的图块边界信息INF可包含平坦检查结果、 活动检查结果、QP信息、像素、失真阈值、用于平滑功能的信息等。

图14是图示使用多个编码器以编码多个图块的第二操作场景的示意图。在此示 例中，编码器1用于编码图块1，且编码器2用于编码图块2。图块1和图块2的像 素数据可以直接从缓冲器获取。就分别属于图块1和图块2的水平邻近组行(即，像 素组行)而言，编码器1和编码器2操作于相同的时间。图块边界处理可以在每个组 行(即，像素组行)的开始执行。另外，当处理图块1的一组行的最后的像素组/超 级组时，编码器1可参考从编码器2给出的图块边界信息INF。例如，图块2的图块 边界信息INF可包含平坦检查结果、活动检查结果、QP信息、像素、失真阈值，用 于平滑功能的信息等。

本领域技术人员将容易观察到，在保留本发明的教导的情况下可以对装置和方法 进行许多修改和替代。因此，以上揭示应该解释为仅仅由所附的权利要求的精神和边 界所限制。