图像处理装置、图像处理方法、图像处理程序、记录了图像处理程序的记录介质、及图像处理用处理器

摘要

在修正摄像图像的倾斜时，并非以可佩戴式终端等直立状态下的拍摄为前提的摄像装置拍摄到的图像，不能预测拍摄了什么样的图像，所以导致根据不适合于推测图像的倾斜角的区域来推测倾斜角，并使用错误推测的倾斜角来修正图像，反而导致画质恶化。本发明将摄像图像划分为多个区域，判定被划分后的每个区域中的纹理表示的方向性，只把纹理具有单一方向性的区域作为对象来推测图像的倾斜角，并使用所推测的倾斜角来修正摄像图像。

说明书

技术领域

本发明涉及利用可佩戴式终端拍摄的图像的修正技术。

背景技术

近年来，能够把日常生活持续记录为生活日志(life log)的可佩戴式终端已经问世。所说可佩戴式终端，指利用者始终佩戴使用的终端装置，该终端装置具有摄像机或麦克风，在利用者不进行操作时也始终进行记录。

专利文献1公开了一种可佩戴式终端，根据每个事件对由摄像机或麦克风获取到的信息定义重要等级并记录，由此辅助利用者的记忆和回忆。但是，可佩戴式终端由于始终佩戴并始终进行拍摄的使用形式，存在摄像图像的画质伴随利用者的运动而明显下降的问题。尤其在可佩戴式终端相对水平面倾斜的状态下进行拍摄时，存在摄像图像倾斜的问题。

另一方面，专利文献2公开了一种方法，检测存在于摄像图像的上部的线段，根据这些线段的倾斜角来推测图像整体的倾斜角，并修正摄像图像的倾斜。专利文献2公开的图像修正方法以摄影者在基本直立的状态下进行拍摄为前提，当在这种状态下进行拍摄时，可以预期图像下部受到地面或影子的影响，成为不容易根据线段来推测水平方向的区域，而图像上部成为容易检测构造物等的水平方向的区域。主动利用摄像图像的这种特征来修正图像是专利文献2的方法的特征。

专利文献1：日本特开2003-304486号公报

专利文献2：日本专利第3676360号公报

但是，在把专利文献2公开的图像修正适用于利用可佩戴式终端拍摄的摄像图像的情况下，不一定能够获得预期的修正效果。在可佩戴式终端中，由于利用者始终佩戴着并始终进行拍摄，所以摄像图像不限于能够只划分为上部和下部来进行分析的简单构图，专利文献2的方法还不够。另外，在专利文献2的方法中，没有考虑到不能获得检测图像的倾斜所需的充足特征的情况，由于在这种情况下也使用推测到的倾斜角来机械地进行图像修正，所以也存在图像的倾斜反而恶化的情况。

上述问题回归到如何从图像中选择适合于倾斜检测的区域的问题。即，在根据存在于图像中的线段的倾斜来推测图像的倾斜的情况下，如何判别线段的朝向一致的区域和线段的朝向不一致的区域成为问题。专利文献2的方法只是根据经验单纯地把区域划分为上下的区域，所以导致适用范围受到限制。

发明内容

本发明提供一种图像处理装置，对于任意的摄像图像，尤其对于像利用可佩戴式终端拍摄的图像那样未必被直立拍摄的摄像图像，通过分析图像来推测倾斜角，并修正图像的倾斜。

其中，所说图像中的区域，指由构成图像的像素中的一部分构成的像素块。

为了解决上述问题，本发明的图像处理装置，使用构成摄像图像的多个像素块的亮度信息来进行摄像图像的修正，其特征在于，各个像素块是预先确定了纵向和横向的像素数的像素的集合，所述图像处理装置具有：判定单元，对于每个像素块，将像素块内的像素的位置信息和亮度信息代入预定的运算式进行运算，并判定是否适合于推测该像素块内图像的倾斜角；选择单元，选择由所述判定单元判定为适合于推测像素块内图像的倾斜角的像素块；和修正单元，根据所选择的像素块，求出摄像图像相对基准轴的倾斜角，并进行修正。

发明效果

根据上述结构的图像处理装置，把所输入的图像划分为多个区域，在划分后的区域中，判定纹理(亮度变化)具有什么样的方向性，根据该判定只选择纹理具有单一方向性的区域，将所选择的区域作为对象来推测图像的倾斜角。

其中，所说纹理指作为图像中的边缘强度较大的像素的集合而形成的图案，所说纹理具有单一方向性，指通过将邻接的边缘强度较大的像素连接而形成的线段中、大部分朝向某个特定的方向的周围。纹理能够通过对图像中包含的像素的位置信息和亮度信息进行运算而获得。在纹理具有单一方向性的情况下，可以认为在区域内包含建筑物等构造物的边缘，其方向是水平方向或垂直方向的可能性比较大，所以在这些区域中分析像亮度那样的像素信息，由此推测图像的倾斜角。

因此，即使线段的方向一致的区域不在图像的上部，只要被划分的多个区域中的哪个区域中存在线段的方向一致的区域，就能够把这些区域作为对象来进行倾斜角的推测。摄像图像中，不限于上部，只选择存在于任何部分的线段方向一致的区域，预先将线段的方向有偏差的区域去除，所以即使是混合存在适合于推测倾斜角的区域和不适合于推测倾斜角的区域的图像，也能够准确推测倾斜角并修正图像的倾斜。

其中，也可以是，所述判定单元计算亮度斜度的方向分布。

由于能够将图像中的线段识别为亮度的变化，并将线段的方向识别为亮度变化的方向、即亮度斜度，所以能够根据亮度斜度的方向分布判定区域中的线段的一致程度。

其中，也可以是，所述判定单元计算亮度频谱强度的方向分布。

亮度频谱反映原始图像的亮度分布的频率特性，所以通过分析亮度频谱，能够观察原始图像中的线段的分布。

其中，也可以是，所述选择单元将所述多个区域中、亮度变化大于预定的亮度变化的像素的数量相对于区域的全部像素数量的比例大于预定的阈值的区域，从选择对象中去除。

虽然可以认为图像中的线段位于亮度变化较大的位置附近，但在亮度变化较大的位置多时，将导致线段密集，很难确定线段的方向。通过预先将亮度变化大的像素较多的区域从选择对象中去除，无需进行从线段密集的区域中确定线段的方向的无用处理。

其中，也可以是，所述判定单元将所述亮度斜度的方向分布的方差小于预定值的区域，判定为适合于推测区域的倾斜角的区域。

亮度斜度的方向分布的方差反映区域中包含的线段的偏差的大小，所以通过将方差小的区域判定为适合于推测区域的倾斜角的区域，能够选择线段一致的区域。

其中，也可以是，所述判定单元将在所述亮度斜度的方向分布中、处于以亮度斜度的方向的众数为中心的预定的角度范围内的比例大于预定值的区域，判定为所述适合于推测区域的倾斜角的区域。

在亮度斜度的方向分布的度数集中于众数的周围的情况下，获取大部分的线段的倾斜角接近的值，所以通过判定为适合于推测区域的倾斜角的区域，能够选择线段一致的区域。

其中，也可以是，所述图像处理装置连续检测多个摄像图像的倾斜，所述预定的角度范围是根据所述修正单元过去采用的倾斜角确定的。

由于连续拍摄的图像被预想为是以相同的倾斜角倾斜，所以根据过去采用的倾斜角对该图像的倾斜角进行某种程度的估计，并以此为基础来确定角度范围，所以能够提高倾斜角推测的精度。

其中，也可以是，所述预定的角度范围是根据所述修正单元此前刚刚采用过的倾斜角确定的。

即使是过去采用过的倾斜角，但在时间上相距较远的情况下，将不认为是在相同状况下拍摄的，所以只根据此前刚刚(immediately previously)采用过的倾斜角来确定角度范围，由此能够提高倾斜角推测的精度。

其中，也可以是，所述判定单元将所述亮度频谱的强度的方向分布的方差小于预定值的区域，判定为所述适合于推测区域的倾斜角的区域。

亮度频谱的强度的方向分布的方差小的区域，对应于原始图像的线段的偏差小的区域，所以被选择为适合于推测倾斜角的区域。

其中，也可以是，所述推测单元从由所述选择单元选择的区域全体中检测线段，将检测到的线段的倾斜角的众数作为图像的倾斜角。

由于从所选择的区域全体中检测线段并进行倾斜角的推测，所以通过将线段检测处理和倾斜推测处理各进行1次，能够结束图像的倾斜角的推测。

其中，也可以是，所述推测单元对由所述选择单元选择的每个区域检测线段，将在各个区域中检测到的线段的倾斜角的众数作为区域的倾斜角，并根据区域的倾斜角确定图像的倾斜角。

对所选择的区域分别单独地进行线段的检测和倾斜角的推测，并根据每个区域的倾斜角推测图像的倾斜角，通过进行这样两个阶段的推测，能够提高推测的精度。

其中，也可以是，所述图像的倾斜角是所述区域的倾斜角的众数。

通过将在每个区域中推测到的倾斜角中的众数作为图像的倾斜角，能够推测最准确的倾斜角。

其中，也可以是，在所述区域的倾斜角的众数有多个的情况下，所述图像的倾斜角优先采用在各个区域中沿区域的倾斜角的方向倾斜的线段的长度较长者的众数。

在众数有多个的情况下，优先采用基于长线段的倾斜角，由此能够推测准确的倾斜角的可能性增大。

其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜，在所述区域的倾斜角的众数有多个的情况下，所述图像的倾斜角优先采用与根据所述修正单元过去采用的倾斜角而预测的倾斜角接近的众数。

在众数有多个的情况下，优先采用与过去采用过的倾斜角接近的倾斜角，由此能够推测准确的倾斜角的可能性增大。

其中，也可以是，根据所述推测单元过去检测到的图像的倾斜角而预测的倾斜角，是所述推测单元此前刚刚检测到的倾斜角。

在众数有多个的情况下，优先采用与此前刚刚采用过的倾斜角接近的倾斜角，由此能够推测准确的倾斜角的可能性增大。

其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜，在由所述选择单元选择的区域全体占图像的比例小于预定的阈值的情况下，所述推测单元根据所述修正单元过去采用的倾斜角来推测图像的倾斜角。

在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低，所以采用根据过去采用过的倾斜角所推测的倾斜角。由此，在所选择的区域较少的情况下，也能够进行图像的修正。

其中，也可以是，所述推测单元推测的图像的倾斜角是所述修正单元此前刚刚采用过的倾斜角。

在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低，所以采用此前刚刚采用过的倾斜角。由此，在所选择的区域较少的情况下，也能够进行图像的修正。

其中，也可以是，所述图像处理装置被内置于摄像装置中，所述摄像装置具有检测摄像时相对水平面的倾斜的传感器，在由所述选择单元选择的区域全体占图像的比例小于预定的阈值的情况下，所述修正单元使用所述传感器输出的倾斜角来修正摄像图像。

在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低，所以采用由传感器测定到的摄影时的倾斜角。由此，在所选择的区域较少的情况下，也能够进行图像的修正。

其中，也可以是，在由所述选择单元选择的区域全体占图像的比例小于预定的阈值的情况下，所述修正单元不进行修正。

在所选择的区域较少的情况下，根据图像推测的倾斜角的可靠性较低，所以不进行修正。由此，能够防止因利用错误的倾斜角进行修正而导致的画质恶化。

其中，也可以是，所述图像处理装置连续修正多个摄像图像的倾斜，当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预定的阈值的情况下，所述推测单元根据所述修正单元过去采用的倾斜角来推测摄像图像的倾斜角。

在图像较暗的情况下，根据图像推测倾斜角比较困难，所以根据过去采用的倾斜角来推测图像的倾斜角。由此，在图像较暗的情况下，也能够进行图像的修正。

其中，也可以是，所述倾斜角是所述修正单元此前刚刚采用过的倾斜角。

在图像较暗的情况下，根据图像推测倾斜角比较困难，所以推测此前刚刚采用过的倾斜角。由此，在图像较暗的情况下，也能够进行图像的修正。

其中，也可以是，所述图像处理装置被内置于摄像装置中，所述摄像装置具有检测摄像时相对水平面的倾斜的传感器，当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预定的阈值的情况下，所述修正单元使用所述传感器输出的倾斜角来修正摄像图像。

在图像较暗的情况下，根据图像推测倾斜角比较困难，所以采用由传感器测定到的摄影时的倾斜角。由此，在图像较暗的情况下，也能够进行图像的修正。

其中，也可以是，当在所述摄像图像中亮度小于预定值的像素占全部像素的比例大于预定的阈值的情况下，所述修正单元不进行修正。

在图像较暗的情况下，根据图像推测倾斜角比较困难，所以不进行修正。由此，能够防止因利用错误的倾斜角进行修正而导致的画质恶化。

其中，也可以是，所述传感器是加速度传感器。

作为传感器采用加速度传感器，由此能够检测重力加速度，并测定摄影时的倾斜角。

其中，也可以是，所述传感器是角速度传感器。

作为传感器采用角速度传感器，由此能够检测摄像装置的旋转角，并测定摄影时的倾斜角。

附图说明

图1是内置作为本发明一例的图像处理装置的可佩戴式终端的佩戴示例。

图2是表示作为本发明一例的图像处理装置进行的图像修正处理示例的图。

图3是作为本发明一例的图像处理装置的结构图。

图4是说明作为本发明一例的图像处理装置进行的图像划分和区域选择的图。

图5是说明线段上的点的亮度斜度的图。

图6是表示在Sobel滤波器中使用的系数矩阵的图。

图7是表示作为本发明一例的图像处理装置生成的亮度斜度直方图的图。

图8是表示对应于几个图像的亮度频谱的图。

图9是表示作为本发明一例的图像处理装置的区域选择部的动作的流程图。

图10是表示作为本发明一例的图像处理装置的方向性判定部的亮度斜度直方图生成处理的流程图。

图11是说明基于Hough变换法的线段检测的原理的图。

图12是说明在Hough变换法中对线段赋予特征的参数的图。

图13是表示作为本发明一例的图像处理装置的倾斜推测部生成的角度直方图的图。

图14是表示作为本发明一例的图像处理装置的倾斜推测部的动作的流程图。

图15是表示作为本发明一例的图像处理装置的倾斜推测部的线段检测处理的动作的流程图。

图16是表示作为本发明一例的图像处理装置的倾斜推测部的角度直方图生成处理的动作的流程图。

图17是表示图8所示的亮度频谱的断面的图。

图18是说明作为本发明一例的图像处理装置的传感器进行的倾斜角检测方法的图。

图19是表示作为本发明一例的图像处理装置的动作的流程图。

标号说明

100图像处理装置；110图像输入部；120图像划分部；125方向性判定部；130区域选择部；140倾斜推测部；150图像修正部；160传感器。

具体实施方式

在本实施方式中，说明作为本发明的一例的图像处理装置被内置于可佩戴式终端中，并修正由摄像机拍摄到的图像的倾斜的示例。

所说可佩戴式终端指如图1所示利用者悬挂在脖子上等始终佩戴在身上来使用的终端，具有用于记录利用者的日常的事件的例如摄像机，摄像机进行的拍摄不需要利用者的操作即可进行。因此，有可能在利用者意料不到的定时进行拍摄，例如，当在摄像机相对水平面倾斜的状态下进行拍摄时，如图2(a)所示，将导致拍摄到的图像倾斜。这样倾斜的图像不好看，因此通常，需要由人按照图2(b)所示使图像倾斜将被摄体的方向恢复为正确方向。本发明提供一种图像处理装置，即使不由人来修正倾斜，也能够通过分析摄像图像来推测正确的方向，并修正图像的倾斜。

其中，所说图像的倾斜指根据被摄体能够判定的图像的水平方向或垂直方向、与由图像自身的帧确定的横方向或纵方向分别不平行。在如图2(a)所示拍摄了墙壁的图像的情况下，能够容易根据墙壁的图案来推测水平方向，并观察到图像稍微绕逆时针方向倾斜，所以容易按照图2(b)所示对其进行修正。但是，在如图2(c)所示拍摄了生长在地面上的杂草的图像的情况下，很难根据被摄体推测水平方向。这是因为图像中包含的线段朝向分散的方向，不存在能够提示水平方向或垂直方向的线段。本发明通过对图像中的某个区域是能按照上面所述容易推测水平方向、还是很难推测水平方向这样的特征进行分析，以较高的概率推测图像的正确的水平方向或垂直方向。

《结构》

图3是作为本发明一例的图像处理装置的结构图。作为本发明一例的图像处理装置100包括图像输入部110、图像划分部120、方向性判定部125、区域选择部130、倾斜推测部140、图像修正部150和传感器160。在本实施方式中，作为本发明一例的图像处理装置100构成为被内置于具有摄像部和存储部的可佩戴式终端中，修正由摄像部拍摄到的图像的倾斜，并存储在存储部中。

摄像部是具有CCD或CMOS传感器等摄像元件的摄像机，拍摄影像并作为电信号输出。

存储部是SD卡或闪存(flash memory)等存储介质，保存作为本发明一例的图像处理装置100输出的图像。

<图像输入部110>

图像输入部110进行要在图像处理装置100中修正的图像的输入。作为本发明一例的图像处理装置100，与进行修正的图像是何时拍摄无关。在本实施方式中，采取将作为本发明一例的图像处理装置100内置于可佩戴式终端中并随时修正摄像图像的结构，但也可以构成为准备与摄像装置分开的作为本发明一例的图像处理装置100，并输入摄像图像的结构。其中，为了进行图像的修正，以所输入的图像例如是像利用普通摄像机拍摄的长方形状照片那样、明确规定了图像的纵向和横向的图像为前提。

<图像划分部120>

图像划分部120将所输入的图像划分为多个区域。该划分可以按照纵1/4、横1/5这样的纵横方向上相对输入图像的比例来划分输入图像，或者也可以按照纵横32像素这样的固定的大小来划分输入图像。例如，图像划分部120对于图4(a)所示的输入图像，生成按照图4(b)所示划分为20个的区域。

在本实施方式中，说明被划分后的区域具有相同面积的情况，但只要在倾斜推测部140中能够进行考虑了被划分后的区域的面积的推测，则不一定划分为相同面积的区域，也不一定划分为长方形的区域。

<方向性判定部125>

方向性判定部125对于被划分后的每个区域，判定该区域是否适合于推测图像的倾斜角。关于是否适合于推测图像的倾斜角，根据图像中包含的线段的方向的一致程度来判定。即，线段沿一个方向对齐的区域适合于推测图像的倾斜角，相反，线段的方向分散的区域不适合于推测图像的倾斜角。

图像中的线段在进行微观观察时，能够作为像素单位的亮度的变化被定量地检测到。这是因为亮度具有差异，由此能够进行图像中的某个区域与其他区域之间的区分，其边界被识别为线段。因此，判定区域内的线段的方向的一致程度的问题，归结为判定区域内的像素的亮度变化的方向是否分散的问题。

这种能够根据像素的亮度差异识别到的作为线段的集合而形成的图案被称为纹理(texture)，方向性判定部125对于划分后的每个区域，判定该区域的纹理是否具有单一方向性。其中，所说单一方向性不一定是线段的方向完全沿某一个方向对齐，而是指允许某种程度的范围、大多数线段的方向朝向接近的方向。该范围确定图像的倾斜角的推测精度，使用在设计阶段确定的阈值。并且，边缘强度不限于只根据亮度求出，也可以根据色差等像素信息求出。

(亮度斜度)

下面，说明求出亮度的变化的方向、即亮度斜度的方法。

图5是说明线段上的点的亮度斜度的图。图5(a)中的左上部分的区域是亮度I＝I_1，右下部分的区域是亮度I＝I_2，求出为I_1-1(Δy/Δx)。在线段上亮度是固定的，所以根据δI＝0，线段的倾斜是-Δx＝Δy。即，亮度斜度是与线段正交的方向。其中，在Δx＝0而且Δy＞0时θ＝90°，在Δx＝0而且Δy＜0时θ＝-90°，在Δx＝0而且Δy＝0时把像素设为无效。

在根据利用离散的二次函数表示的亮度I(P)求出亮度变化Δx、Δy时，如果单纯地取差分，则由于图像中包含的噪声等的影响，将导致误差增大，作为避免这种情况的方法，例如有使用Sobel滤波器的方法。该方法在进行某个像素中的亮度斜度的计算时，对周围的像素赋予加权并取差分，以便。图6是在Sobel滤波器中用于加权的系数矩阵。在计算x成分时使用图6(a)的矩阵，在计算y成分时使用图6(b)的矩阵。在将具有图6(a)和图6(b)的元素的矩阵分别设为a和b时，位置(n，m)的亮度变化Δx和Δy表示为下面的(式5)和(式6)。

[式5]$>\mathrm{\Delta x}(n,m)=\underset{i=1}{\overset{3}{\Sigma }}\underset{j=1}{\overset{3}{\Sigma }}{a}_{\mathrm{ij}}I(n-2+i,m-2+j)$>...(式5)

[式6]$>\mathrm{\Delta y}(n,m)=\underset{i=1}{\overset{3}{\Sigma }}\underset{j=1}{\overset{3}{\Sigma }}{b}_{\mathrm{ij}}I(n-2+i,m-2+j)$>...(式6)

另外，其中系数矩阵是3×3矩阵，但也可以使用更大的矩阵。系数矩阵一般是把k设为2以上的整数的、(2k-1)×(2k-1)的正方形矩阵。

区域选择部130对于以上所述的区域中包含的全部像素计算亮度斜度，并判定区域中的线段的方向是否一致。该处理通过生成图7所示的对每个亮度斜度的值取像素数的累计而形成的亮度斜度直方图来进行。图7是把亮度斜度θ设为横轴，把在一定的宽度Δθ范围内具有亮度斜度的像素的数量P设为纵轴的直方图。

方向性判定部125生成如上所述的亮度斜度直方图，例如在亮度斜度直方图的方差(variance)小于预先确定的阈值的情况下，判定为纹理具有单一方向性。该判定的基准不限于根据方差来进行，例如，在亮度斜度直方图中，在赋予具有一定以上的度数的亮度斜度的像素数大于预先确定的阈值的情况下，判定为线段的方向一致。

当在区域内亮度完全没有变化的情况下，在亮度斜度的计算中全部像素被视为无效，不能生成亮度斜度直方图，但方向性判定部125将这种区域与纹理不具有单一方向性的区域同等对待。

(亮度频谱)

另一方面，关于判定图像中包含的线段的方向性的方法，除了如上所述按照像素单位计算亮度斜度之外，还有利用图像的频率特性的方法。

即，图像的亮度I(x，y)是对离散的二维坐标(x，y)取某个值I(x，y)的离散函数，根据对其进行二维离散傅立叶变换后的亮度频谱来判定方向性。在把图像的宽度设为W、把高度设为H时，图像的亮度I(x，y)的亮度频谱FI(u，v)如(式7)所示，

[式7]$>\mathrm{FI}(u,v)=\frac{1}{\mathrm{WH}}\underset{n=0}{\overset{W-1}{\Sigma }}\underset{m=0}{\overset{H-1}{\Sigma }}I(n,m)e^{-\frac{i2\mathrm{\pi nu}}{W}}{e}^{-\frac{i2\mathrm{\pi mv}}{H}}$>...(式7)

以图8所示的图像为例，说明如何根据这样计算的亮度频谱来判定线段的方向性。图8是分别拍摄了(a)杂草、(b)墙壁、(c)道路的图像。把上述的傅立叶变换适用于这些图像，则分别获得图8中的(d)、(e)、(f)所示的亮度频谱。其中，亮度频谱被实施平行移动以使直流成分位于中央。

如图8(a)所示，在是不存在确定图像的朝向的线段的图像的情况下，亮度频谱中没有表现出图8(d)所示的较强的峰。在图8(d)中表示亮度频谱好像是平坦的，但这是附图的情况，实际上亮度频谱是具有缓慢的起伏的。对于这种图像，很难推测图像的倾斜角。

如图8(b)所示，在是能够根据墙壁的图案明确判定水平方向的图像的情况下，亮度频谱显示出图8(e)中利用纵向的线示出的较强的峰。在图8(e)中，根据附图的情况，利用线的粗细来表示峰的强度。一般，原始图像中的线段与亮度频谱中的峰值存在正交的关系，所以如果亮度频谱在纵方向上显示出较强的峰，则能够推测为原始图像包含横向的线段的倾向性较强。

如图8(c)所示，在是拍摄了道路和建筑物和人的图像的情况下，亮度频谱如图8(f)所示，除了纵向的较强的峰之外，还在多个方向显示出了峰。这是因为在原始图像中存在建筑物的窗户及墙壁等朝向各个方向的线段。

如上所述，能够根据亮度频谱的图案(pattern)判定原始图像中的线段的方向性。

方向性判定部125为了定量地进行方向判定，计算各个方向的亮度频谱的强度P(θ)。即，在利用极坐标(γ，θ)表示坐标(u，v)时，在某个方向θ的亮度频谱强度P(θ)作为与强度FI(γ，θ)的矢径方向相关的平方和，被表示为下面的(式8)。

[式8]$>P\left(\theta \right)=\underset{r}{\Sigma }{\left|\mathrm{FI}(r,\theta )\right|}^2$>...(式8)

该亮度频谱强度P(θ)从与方向θ相关的强度分布的意义上讲，与上述的亮度斜度直方图同等。因此，方向性判定部125与使用亮度斜度直方图时相同，能够根据亮度频谱强度P(θ)的方差等信息进行方向性的判定。

<区域选择部130>

区域选择部130从由图像划分部120划分后的区域中，只选择由方向性判定部125判定为具有单一方向性的区域。例如，在图4的示例中，如图4(c)所示，选择清楚地表现出墙壁的水平线的区域，整面被壁面覆盖而没有表现出纹理的区域、或植物占据了大部分而且纹理不具有单一方向性的区域被去除。

(区域选择部130的动作)

图9是区域选择部130根据方向性判定部125对纹理的方向性判定而进行的区域选择的动作的流程图。区域选择部130首先把由图像划分部120划分后的区域的数量设为N，把表示区域的索引初始化为i＝1(步骤S1001)。然后，区域选择部130指示方向性判定部125生成区域i的亮度斜度直方图，方向性判定部125接收到来自区域选择部130的指示，生成区域i的亮度斜度直方图(步骤S1002)。如果方向性判定部125生成的亮度斜度直方图的方差小于预先确定的阈值(步骤S1003：是)，区域选择部130设定区域i的选择标志(步骤S1004)，并转入步骤S1005。如果方向性判定部125生成的亮度斜度直方图的方差不小于预先确定的阈值(步骤S1003：否)，则转入步骤S1005。如果表示区域的索引i为划分后的区域的数量N以上(步骤S1006：是)，则结束区域选择。如果表示区域的索引i不在划分后的区域的数量N以上(步骤S1006：否)，将i增加1(步骤S1007)，并返回步骤S1002。

(亮度斜度直方图的生成)

图10是表示在上述步骤S1002，方向性判定部125进行的亮度斜度直方图生成处理的流程图。

方向性判定部125首先把区域中包含的像素数设为K，把表示像素的索引设为i＝1，把亮度斜度直方图初始化为P(θ)＝0(步骤S1101)。然后，计算像素i中的亮度斜度θ_i(步骤S1102)。

然后，将计算的亮度斜度登记在亮度斜度直方图中。首先，把扫描开始角设为θ＝θ_1(步骤S1103)。如果像素i的亮度斜度θ_i进入到θ到θ+Δθ的范围(步骤S1104：是)，将亮度斜度直方图的θ的值P(θ)增加1(步骤S1105)，并转入步骤S1106。如果像素i的亮度斜度θ_i没有进入θ到θ+Δθ的范围(步骤S1104：否)，则转入步骤S1106。如果角度θ为扫描结束角θ_2以上(步骤S1106：是)，则转入步骤S1108。如果角度θ不在扫描结束角θ_2以上(步骤S1106：否)，将θ增加Δθ(步骤S1107)，并返回步骤S1104。通过以上处理，像素i在亮度斜度直方图中的登记结束。

如果表示像素的索引i为区域的像素数K以上(步骤S1108：是)，则结束亮度斜度直方图生成处理。如果表示像素的索引i不在区域的像素数K以上(步骤S1108：否)，将i增加1(步骤S1109)，并返回步骤S1102。通过以上处理，完成亮度斜度直方图。

另外，以上是对区域中的全部像素进行扫描并生成亮度斜度直方图，但在使用Sobel滤波器的情况下，由于需要周围的像素信息，所以需要考虑将区域的端部的像素从处理对象中去除等。

并且，亮度斜度直方图P(θ)指允许一定的角度幅度Δθ的范围，并取亮度斜度的累积而得到的数据结构，实际上不需要在显示器等上描画曲线图。

<倾斜推测部140>

倾斜推测部140对于由区域选择部130选择的区域，根据像素信息进行区域的倾斜角的推测。倾斜推测部140首先从区域中检测线段，然后把线段的倾斜角的众数推测为区域的倾斜角。倾斜角的推测也可以从由区域选择部130选择的区域整体中检测线段，并推测图像的倾斜角，还可以对由区域选择部130选择的每个区域单独地推测区域的倾斜角，再以这些倾斜角为基础进一步推测图像的倾斜角。

(线段检测)

倾斜推测部140使用Hough变换法来检测图像中包含的线段。该Hough变换法是利用了如下情况的检测方法，即：在图像中存在线段的可能性较大的部位设定特征点，若假设在通过各个特征点的所有方向上直线以固定的概率存在，则由于从多个特征点延伸的直线的重合，实际存在的线段的存在概率提高。例如，如图11(a)所示，在具有3个特征点时，如图11(b)所示，假设直线从各个特征点向所有方向延伸，则如图11(c)所示，通过在连接3点的直线上重合，直线的存在概率提高，所以视为实际存在线段。特征点是通过将上述的Sobel滤波器等的边缘检测滤波器适用于图像而提取的。

现在，把第i个特征点的坐标设为(x_i，y_i)，通过该点的任意直线可以利用(式9)表述。

[式9]

x cosθ+y sinθ＝ρ(ρ＝x_i coSθ+y_i sinθ)...(式9)

其中，参数θ和ρ如图12(a)所示分别具有从原点到直线的垂线与x轴所形成的夹角、以及直线与原点之间的距离这样的几何学意义。由于通过特征点(x_i，y_i)这一限制，参数θ和ρ不是独立的，例如在θ＝θ_1时ρ＝ρ_1，并确定线line1，在θ＝θ_2时ρ＝ρ_2，并确定线line2。如果将其图示表示，则成为图12(b)所示。图12(b)是横轴为θ、纵轴为ρ，对于3个特征点(x_i，y_i)(i＝1、2、3)绘制ρ与θ的关系得到的图。在图12中，不同的两个曲线相交的点表示通过不同的两个特征点的相同直线，即表示将两个特征点连接得到的直线。同样，不同的3个曲线在1点相交的点，表示不同的3个特征点位于同一直线上。

在Hough变换法中，对于全部特征点，取给出通过特征点的直线的参数的组(θ，ρ)的累积，把度数超过固定的阈值P 0的直线检测为实际存在的直线。

(倾斜角推测)

倾斜推测部140从检测到的线段中取有关线段的倾斜角的累积，把度数最大的倾斜角推测为区域的倾斜角。

上述的线段检测中的参数θ表示从原点到直线的垂线与x轴所形成的夹角，所以直线与图像的横方向之间所形成的夹角可以表述为φ＝θ-90°。倾斜推测部140对区域内被检测到的全部线段，生成有关倾斜角φ的角度直方图，把其众数作为区域的倾斜角。

图14是表示倾斜推测部140的动作的流程图。

倾斜推测部140从由区域选择部130选择的区域全体中检测线段，在总括推测图像的倾斜角的情况下(步骤S2001：是)，转入步骤S2014。在不总括推测图像的倾斜角的情况下(步骤S2001：否)，转入步骤S2002，把选择区域的数量设为N，把表示区域的索引设为i＝1，把直方图初始化为Q(φ)＝0。

然后，进行将区域的倾斜角登记在直方图Q(φ)中的处理。首先，在区域i中生成角度直方图(步骤S2004)，把其众数设为区域i的倾斜角φ_i(步骤S2005)。把扫描开始角度设为φ＝φ_1(步骤S2006)，如果区域i的倾斜角φ_i进入到φ至φ+Δφ之间(步骤S2007：是)，将Q(φ)增加1(步骤S2008)，并转入步骤S2009。把扫描开始角度设为φ＝φ_1(步骤S2006)，如果区域i的倾斜角φ_i未进入到φ到φ+Δφ之间，则转入步骤S2009。如果角度φ相对于扫描结束角度φ_2为φ≥φ_2(步骤S2009：是)，则跳至步骤S2011，在是φ＜φ_2之间时，转入步骤S2010，将φ增加Δφ(步骤S2010)，并返回步骤S2007。

对全部区域进行以上处理。如果区域的索引i相对于所选择的区域的数量N为i≥N(步骤S2011：是)，则转入步骤S2013。最后，从所生成的直方图Q(φ)中选择众数，并将其设为图像的倾斜角的推测值(步骤S2013)。

在步骤S2001，在判定为进行总括推测的情况下，首先，将由区域选择部130选择的区域结合为一个区域(步骤S2014)。对结合后的区域检测线段(步骤S2015)，并对结合后的区域生成角度直方图(步骤S2016)。把该角度直方图的众数设为图像的倾斜角的推测值(步骤S2017)。

以上是倾斜推测部140进行的倾斜推测处理的动作。

下面，说明步骤S2003和步骤S2015的线段检测处理。

图15是表示基于Hough变换法的线段检测的流程图。

倾斜推测部140首先从区域中提取特征点(步骤S2101)，把特征点的个数设为N，把表示特征点的索引设为i＝1，把直方图初始化为P(θ，ρ)＝0(步骤S2102)。

然后，确认通过特征点i的直线属于以ΔθΔρ的块对θ_ρ空间中的θ_1～θ_2、且ρ_1～ρ_2的范围进行划分后的哪个块。首先，获取特征点i的坐标(x_i，y_i)(步骤S2103)。把参数θ初始化为θ_1(步骤S2104)，计算对应θ的ρ_i(步骤S2105)。把参数ρ初始化为ρ_1(步骤S2106)，如果ρ_i进入到ρ到ρ+Δρ之间(步骤S2107：是)，将P(θ，ρ)增加1(步骤S2108)，并转入步骤S2109。如果ρi不在ρ到ρ+Δρ之间(步骤S2107：否)，则转入步骤S2109。在ρ达到ρ2之前(步骤S2109：否)，将其每次增加Δρ(步骤S2110)，并沿ρ方向扫描。如果ρ达到ρ_2(步骤S2109：是)，则在θ达到θ_2之前(步骤S2111：否)，将其每次增加Δθ(步骤S2112)，并沿θ方向扫描。如果θ达到θ_2(步骤S2111：是)，则特征点i向直方图R(θ，ρ)中的登记结束。

在索引i达到特征点的数量N之前(步骤S2113：否)，将i逐次增加1，并进行以上处理。在索引i达到特征点的数量N后(步骤S2113：是)，倾斜推测部140把在直方图P(θ，ρ)中利用具有大于阈值P_0的度数的(θ，ρ)表示的线段，检测为实际存在的线段。

图16是生成角度直方图的流程图。倾斜推测部140首先把在区域内检测到的线段的数量设为N，把表示线段的索引设为i＝1，把角度直方图初始化为R(φ)＝0(步骤S2201)。然后，对于线段i，从存储器中读取在检测线段时计算出的参数(θ_i，ρ_i)(步骤S2202)，计算线段i的倾斜角φ_i(步骤S2203)。

然后，将倾斜角φ_i登记在角度直方图R(φ)中。首先，把扫描开始角度设为φ＝φ_1(步骤S2204)。如果线段i的倾斜角φ_i在φ～φ+Δφ之间(步骤S2205)，将R(φ)的值增加1(步骤S2205：是)，并转入步骤S2206。如果线段i的倾斜角φ_i不在φ～φ+Δφ之间(步骤S2205：否)，则转入步骤S2206。如果角度φ为扫描结束角度φ_2以上(步骤S2206：是)，则结束倾斜角φ_i的登记，并转入步骤S2209。如果角度φ小于扫描结束角度φ_2(步骤S2206：否)，将角度φ增加Δφ(步骤S2208)，并返回步骤S2205。

对全部线段进行以上处理。即，如果索引i为线段的数量N以上(步骤S2209：是)，则结束生成角度直方图。如果索引i不大于线段的数量N(步骤S2209：否)，将索引i增加1(步骤S2210)，并返回步骤S2202。

通过以上处理，完成图13所示的角度直方图。倾斜推测部140把角度直方图的众数推测为区域的倾斜角。例如，在图13所示的情况下，区域的倾斜角为φ_0。

在倾斜推测部140从由区域选择部130选择的区域全体中检测线段并推测图像的倾斜角的情况下，上部的区域的倾斜角就是图像的倾斜角。在采取倾斜推测部140对每个区域单独地推测倾斜角，然后推测图像的倾斜角的方法的情况下，如上所述，在推测各个区域的倾斜角后，再对区域的倾斜角取累积，将众数推测为图像的倾斜角。

以上说明了在生成角度直方图时对哪个角度都同等处理的情况，但也可以根据利用与图像分析不同的手段预测的倾斜角，赋予加权并生成角度直方图。例如，在连续拍摄多个图像的情况下，可以预期倾斜角也连续变化，所以根据过去的倾斜角预测该图像的倾斜角，并赋予对应该值的加权来生成角度直方图，由此能够提高推测的精度。如果以摄像装置不剧烈摇动的状况为前提，则可以认为过去的倾斜角中刚刚之前(immediatelypreceding)的倾斜角与该图像的倾斜角最接近。在把刚刚之前的倾斜角设为θ_prev时，也可以根据倾斜角θ赋予(式10)所示的加权w(θ)。

[式10]

$>w\left(\theta \right)=\left(\begin{array}{cc}\cos (\theta -{\theta }_{\mathrm{prev}})& (\cos (\theta -{\theta }_{\mathrm{prev}})>0)\\ 0& (\cos (\theta -{\theta }_{\mathrm{prev}})\le 0)\end{array}\right)$>...(式10)

并且，在角度直方图具有多个众数的情况下，也可以赋予对应于线段特性的加权，由此推测准确的倾斜。例如，与较短线段有可能是墙壁上描画的细小图案等的情况相对，较长线段是墙壁的边缘等构造的一部分的可能性比较大，通过使对较长线段赋予的倾斜角的加权大于对较短线段赋予的倾斜角的加权，能够更准确地检测水平方向或垂直方向，并正确推测图像的倾斜角。线段的长度可以作为利用Hough变换法检测到的线段所通过的特征点中、最端部的两点之间的距离来求出。

并且，也可以以这样的方式进行加权，即：使得根据朝向垂直方向的线段所确定的倾斜角优先于根据朝水平方向的线段所确定的倾斜角。这是因为在拍摄到的图像中，对于线段根据远近关系而相对于水平方向或垂直方向倾斜的可能性，是水平方向的线段的可能性要大于垂直方向线段的可能性。例如，在图8(c)所示的图像中，表示左右拍摄的建筑物的水平方向的线段，尽管实际上全部与水平面平行，但在图像中，根据远近关系而成为放射状，其倾斜一点一点变化而不同。与此相对，表示垂直方向的线段在图像中全部与垂直方向平行。鉴于这种情况，进行依赖于线段的方向的加权比较有效。

(利用了亮度频谱的倾斜角推测)

以上叙述了倾斜推测部140从区域中检测线段，并根据该线段的倾斜角来推测区域的倾斜角的方法，但也可以利用区域的亮度频谱来推测倾斜角。

例如，在图17(a)所示的亮度频谱中，(b)、(c)、(d)所示的方向的断面分别如图17(b)、(c)、(d)所示。(b)的方向在图17(a)的中心沿纵方向延伸的峰上通过，所以较强的信号持续扁平，而看不到峰。(c)的方向是横穿图17(a)的纵方向的条文的方向，所以出现了多个峰。(d)的方向是(b)和(c)中间的方向，所以成为(c)的峰间隔扩大的形状。

根据以上所述，也可以认为亮度频谱强度较强的方向是峰数量较少的方向，并利用峰数量的倒数生成角度直方图。

(基于亮度斜度的方向分布的倾斜推测)

另外，倾斜推测部140也可以根据亮度斜度的方向分布来推测倾斜角。具体地讲，对于属于由区域选择部130选择的区域的像素，计算亮度斜度的方向分布，利用与其众数相对应的角度来推测倾斜角。

<传感器160>

传感器160是加速度传感器或角速度传感器等检测重力的方向的传感器，在由倾斜推测部140进行的图像的倾斜角的推测失败的情况下，利用传感器160直接测定可佩戴式终端的倾斜角。所说由倾斜推测部140进行的图像的倾斜角的推测失败的情况，例如有由区域选择部130选择的区域较少的情况、或图像较暗的情况。

倾斜推测部140只从选择区域中检测线段来推测图像的倾斜角，所以在图像中线段一致的区域较少而导致选择区域较少的情况下，将不能准确地推测图像的倾斜角。并且，倾斜推测部140根据亮度来推测图像的倾斜角，所以在图像整体较暗的情况下，也不能准确地推测图像的倾斜角。在这样的情况下，可认为相比由倾斜推测部140推测到的图像的倾斜角，由传感器160检测到的倾斜角更能准确反映图像的倾斜。

传感器160例如使用像压阻型(piezoresistive)加速度传感器那样把施加的加速度变换为电信号的传感器，如图18所示，使用双轴加速度传感器，以便能够同时检测与可佩戴式终端的摄像机的摄影方向垂直的两个方向的加速度。

如图18所示，把传感器160固定在可佩戴式终端上，以使得在将可佩戴式终端没有倾斜时的垂直方向和水平方向设为y轴和x轴时，能够检测y方向和x方向的加速度。把重力加速度设为g，将x方向和y方向的成分分别表述为g_x＝g sinθ、g_y＝g cosθ，所以倾斜角为θ＝tan^-1(g_x/g_y)。

另外，传感器160也可以设置多个传感器，并获取它们的平均值等来提高测定精度。

传感器160也可以不输出倾斜角本身，而输出相对某个基准值的差分值，还可以输出相对刚刚之前的测定值的差分值。

以上示出了使用加速度传感器来检测重力从而检测摄影时的倾斜角的示例，但也可以使用角速度传感器检测本设备旋转的角速度并进行时间积分，由此计算倾斜角。

另外，在作为本发明一例的图像处理装置100未被内置于可佩戴式终端中的情况下，也可以在存储器中记录在摄影时由传感器160测定到的倾斜角，以后读出该倾斜角并用于图像修正。

<图像修正部150>

图像修正部150根据由倾斜推测部140推测到的倾斜角或由传感器160测定到的倾斜角，进行使图像旋转的修正。在倾斜推测部140进行了图像的倾斜角的推测的情况下，图像修正部150使用所推测的倾斜角来进行图像的修正，在图像中没有包含倾斜推测部140进行图像的倾斜角的推测所需的足够信息的情况下，使用传感器160检测到的倾斜角来进行图像的修正。其中，所说图像的修正，如图2所示，是通过对所推测或检测到的图像的倾斜角，使图像逆向旋转相同角度来进行的。

图19是表示作为本发明一例的图像处理装置100的动作的流程图。

图像处理装置100首先在图像输入部110中读取图像(步骤S3001)，把所输入的图像的总像素数设为N，将亮度为阈值以上的像素数初始化为M。

如果比值M/N不大于阈值α(步骤S3003：否)，则转入步骤S3009。如果比值M/N大于阈值α(步骤S3003：是)，则转入步骤S3004，在图像划分部120中划分图像(步骤S3004)。此时，把图像的划分数量设为n。然后，根据在方向性判定部125中判定的区域的纹理的方向性，区域选择部130选择线段的方向一致的区域(步骤S3005)。此时，把区域的选择数量设为m。

如果比值m/n不大于阈值β(步骤S3006：否)，则转入步骤S3009。如果比值m/n大于阈值β(步骤S3006：是)，则转入步骤S3007，在倾斜推测部140中进行图像的倾斜角的推测(步骤S3007)。

图像修正部150使图像旋转由倾斜推测部140推测到的倾斜角，由此进行图像的修正(步骤S3008)。但是，在步骤S3003或步骤S3006，在判定为不适合于根据图像来推测倾斜角的情况下，利用传感器检测倾斜角(步骤S3009)，并使用该值进行图像的修正。

以上是作为本发明一例的图像处理装置100的动作。

另外，传感器160并不是必须的，在不具有传感器160的情况下，也可以对不具有用于推测倾斜角的足够信息的图像不进行任何处理。这样，防止根据错误推测的倾斜角进行修正而导致图像恶化。

另外，在具有传感器160、但基于传感器160对倾斜角的推测比较困难的情况下，也可以不进行利用传感器160的倾斜角的推测，对不具有用于推测倾斜角的足够信息的图像不进行任何处理。其中，所说基于传感器160对倾斜角的推测比较困难的情况，指预定时间内的传感器160的输出值的变化量为预定的阈值以上的情况。这样，防止根据错误推测的倾斜角进行修正而导致图像恶化。

或者，在已知像可佩戴式终端那样连续拍摄图像的情况下，对于不具有用于推测倾斜角的足够信息的图像，也可以根据在过去拍摄的图像中所推测到的倾斜角来推测该图像的倾斜角。即，预先存储所推测到的图像的倾斜角中最近的几个倾斜角的历史来加以存储，并对其推移变化进行外推(extrapolate)，由此推测该图像的倾斜角。并且，也可以预先存储所推测到的图像的倾斜角中刚刚之前的一个倾斜角，并把该倾斜角原样用作该图像的倾斜角。该处理基于摄像装置的摇动比较小、被连续拍摄的图像的倾斜角连续变化这种假设。

产业上的可利用性

通过将作为本发明一例的图像处理装置装配到可佩戴式终端等中，能够修正所拍摄的图像的倾斜，并记录和显示正确朝向的图像。由于从图像中只选择适合于倾斜推测的区域来进行倾斜角的推测，所以对不是在直立状态下拍摄到的图像，也能够以较高的概率推测正确的倾斜角。