供感测移动球体的装置及方法、以及供计算移动球体的旋转的球体影像的影像处理方法

摘要

本发明揭示一种依据敲击及分析影像以获得移动球体影像的旋转量测，尤其是揭示一种供感测移动球体的方法及装置，以及球体影像的影像处理方法，用以量测移动球体的旋转，并且快速且精确地提取预先标示于在球体上比如球体制造商标记、球体商标、刮痕、污点等等未指定的标示，即以简单方式的特征部，而非只表示用于旋转量测的特定图案而已，然后依据特征部精确地计算球体转动的旋转轴及旋转量资讯。

说明书

技术领域

本发明有关于供感测移动球体的装置及方法、以及供计算移动球体的旋 转的球体影像的影像处理方法，用于获得移动球体的影像以及处理并分析影 像以计算球体的旋转。

背景技术

关于运动，具体而言是指高尔夫，大家一直企图藉分析所敲击的球体而 精确感测被高尔夫者所敲击的移动球体的物理特性，或使用感测值以影像的 形式实现所敲击的球体，并将结果应用到模拟高尔夫，比如所谓的萤幕高尔 夫。

尤其是，当球体被敲击而飞出时，球体相对于三维空间的某一轴而快速 旋转，因而很难量测球体的旋转(Spin)，而且需要非常昂贵的设备以精确量测 球体的旋转。

用于量测球体旋转的代表性方法包括使用雷达感测器(radar sensor)的方 法或使用高速或超高速照像机分析撷取影像的方法。在这些方法中，使用高 速或超高速照像机计算移动球体旋转的方法是藉由通过在高速或超高速照像 机所撷取的影像上的球体上标示特定图案并分析球体上所标示的特定图案的 变化计算旋转轴及移动球体的旋转量来进行。

在此，特定图案是简单的形状，且使用特定大小及颜色或光敏材料而标 示在球体上，并因此进行旋转计算，而特定图案是明显不同于影像。

然而，依据标示特定图案于球体上并分析图案影像的方法，标示特定图 案于每球体上是很不方便且很麻烦，而且当球体上所标示的图案因重复量测 而变得模糊或部分剥落时，可能无法量测球体旋转。

发明内容

技术问题

因此，本发明是有鉴于上述的问题而做成，而本发明的主要目的在于提 供依据敲击及分析影像藉获得移动球体影像而量测旋转，尤其是一种供感测 移动球体的方法及装置、以及球体影像的影像处理方法，用以量测移动球体 的旋转，藉快速且精确地提取预先标示于在球体上比如球体制造商标记、球 体商标、刮痕、污点等等未指定的标示，即以简单方式的特征部，而非只表 示用于旋转量测的特定图案而已，然后依据特征部精确地计算球体转动的旋 转轴及旋转量资讯。

技术方案

依据本发明的特点，上述及其他目的，可藉提供用以感测移动球体、获 得并分析移动球体影像而计算移动球体的旋转的装置来完成，该装置包括： 一影像撷取单元，用于依据球体的移动获得连续影像，球体具有包含标示于 其上的预设特征部的表面；一影像处理单元，用于从影像撷取单元所撷取的 每个影像中提取球体影像当作对应于球体部的影像，并从球体影像中移除凹 纹部及各种杂讯部，以从球体影像提取特征部；以及一旋转计算单元，用于 藉分析分别从二个任意连续球体影像提取的特征部的位置变化，计算球体的 旋转轴及旋转量。

依据本发明的另一特点，提供一种感测移动球体的方法，用于获得并分 析移动球体的影像以计算移动球体的旋转，该方法包括：依据球体的移动获 得连续影像，该球体具有包含标示于其上的预设特征部的表面；从影像撷取 单元所撷取的每个影像中提取球体影像当作对应于球体部的影像；从球体影 像中移除凹纹部及不同杂讯部，以从球体影像提取特征部；以及藉分析分别 从二任意连续球体影像提取的特征部的位置变化计算球体的旋转轴及旋转 量。

依据本发明的另一特点，提供一种从影像中提取的球体影像的影像处理 方法，用于获得球体移动的影像，该球体具有包含标示于其上的预设特征部 的表面，并用于依据其上特征部计算球体的旋转，该方法包括：以随意角度 转动球体影像上的球体当作原始影像；藉从影像中减去原始影像所获得提取 第n微分影像，且影像的球体被转动；藉在第(n-1)微分影像或第(n-1)累积影 像上累积第n微分影像提取第n累积影像；以及依据预设参考值对第n累积 影像进行二元化以从影像中提取特征部，其中n是等于或大于2的自然数。

有益效果

依据本发明的一种供感测移动球体的方法及装置、以及球体影像的影像 处理方法，是藉依据敲击及分析影像获得移动球体影像而量测旋转，尤其是 量测移动球体的旋转，藉快速且精确地提取预先标示于在球体上比如球体制 造商标记、球体商标、刮痕、污点等等未指定的标示，即以简单方式的特征 部，而非只表示用于旋转量测的特定图案而已，然后依据特征部精确地计算 球体转动的旋转轴及旋转量资讯。

附图说明

图1是显示依据本发明实施例的供感测移动球体的装置的结构的方块示 意图；

图2是使用图1所示元件解释从影像撷取至球体旋转计算的元件的功能 的示意图；

图3(a)至(c)是分别显示连续获得影像的来源影像的示意图；

图4是显示图3(a)中球体部分经放大所得的示意图；

图5(a)至(c)是用于解释从图3(a)至(c)所示的每个来源影像中提取球体部 分的处理的示意图；

图6(a)至6(c)是分别显示提取图5(a)至(c)所示球体影像的正规化影像的 示意图；图7(a)至7(f)是显示从图6(a)所示影像中提取球体特征部的时序处理 的示意图；

图8是解释计算移动球体的旋转的示意图；以及

图9(a)及9(b)是显示藉正规化从二个连续来源影像中提取的球体影像所 获得的影像的示意图，而图9(c)及9(d)是显示藉从图9(a)及9(b)所示影像中个 别提取的特征部而获得的特征部影像的示意图。

具体实施方式

下文中，将参考所附图式详细说明依据本发明供感测移动球体的方法及 装置以及球体影像的影像处理方法的示范性实例。

本发明可基本上配置成经由预设的照像机，对被使用者的高尔夫球杆敲 击的高尔夫球(此后称作“球体”)照像，藉以分析撷取影像并计算敲击球体的 旋转。在此，照像机可为3D照像机或立体照像机，是用多个照像机以立体 方式来配置，并可配置成将球体影像的二维座标转换成三维座标，反之亦然。

此外，依据本发明供感测移动球体的方法及装置以及球体影像的影像处 理方法可应用到不同领域，比如依据使用者的高尔夫挥杆分析敲击球体，使 用虚拟实境模拟器的虚拟高尔夫等等。

首先，参考图1及图2说明依据本发明实施例的供感测移动球体的装置。

如图1及图2所示，依据本发明实施例的供感测移动球体的装置包括影 像获取单元(100)、影像处理单元(200)以及旋转计算单元(300)。

如上所述,影像获取单元(100)可为照像机装置，也可为经由包含多个 照像机的三维(3D)照像机装置或立体照像机来实现，。图1显示影像获取单元 (100)是用包含第一照像机(110)及第二照像机(120)的立体照像机实现。

影像处理单元(200)是一种从影像获取单元(100)所撷取的每个影像 中提取球体影像的元件，而球体影像是对应于球体部的影像，并从球体影像 中移除凹纹部及各种杂讯部，以提取球体影像的特征部，即比如标示于在球 体上的商标或标记、刮痕等等未指定的标示。

影像处理单元(200)可包含球体影像提取部(210)、球体影像正规化部 (220)及球体特征部提取部(230)。

球体影像提取部(210)配置成从来源影像中提取球体影像，球体影像是 对应于球体部的影像，而来源影像是藉影像获取单元(100)所获得的影像， 并提取球体部的中心座标，其将详述于后。

球体影像正规化部(220)是配置成，藉对球体影像提取部(210)所提 取的每个球体影像的大小及亮度资讯进行正规化处理，以将在来源影像上依 据球体在空间中的位置而变动球体的大小及亮度正规化，将详述于后。

球体特征部提取部(230)是一种提取影像上所指示的特征部(即未指定 的标示，如标示于在球体上的商标或标记、刮痕等等)的元件，该影像的影像 正规化已经藉由从球体影像提取部(210)所提取的球体影像通过球体影像正 规化部(220)来处理。为此，在通过球体影像正规化部(220)处理完影像 正规化的原始影像将以重复进行预设次数的任意程度转动步骤、微分影像步 骤以及累积步骤而提取特征部，将详述于后。

旋转计算单元(300)是配置成分析从二个任意连续球体影像中分别提取 的特征部的位置变化，藉以计算球体的旋转轴及旋转量，将详述于后。

首先，将参考图3至图5详细说明从影像获取单元(100)所获取的来源 影像中藉球体影像提取部(210)提取球体影像的处理的实例。

图3(a)至(c)显示的影像状态是藉由从多个影像的微分影像移除背景部等 等而只有球体部(21、22、23)留下，该多个影像是经由固定照像机在预设 时间间隔下对在一视角内的移动球体进行照像所获得的。

如图3(a)、(b)及(c)所示，目前的状态是球体往左上角方向飞出。当球体 靠近照像机时，看到的球体是被放大成如图3(a)所示的球体部(21)，然后随 着球体逐渐从照像机移开，看到的球体变小，如图3(b)及(c)所示的球体部(22、 23)。

在此，图3(a)、(b)及(c)所示的影像被称为来源影像，即当作移动部的球 体部的影像,是从开始获得的影像中经由微分影像等移除背景部及各种杂讯 部而留下的。

如图4所示，当来源影像中的球体部(21)被放大后，该球体部可包含 各种杂讯部，比如所谓看起来像部分散落的盐或胡椒的盐及胡椒(salt and  pepper)杂讯、在固定位置产生的固定图案杂讯(Fixed Pattern Noise)、覆盖球体 表面的凹纹(Dimple)部(DP)、标示在球体侧面上的球体特征部(F)、以及经 由因施加到球体上照明影响的渐变(Gradation)而出现的最亮部(B1)及最暗 部(D1)。

在此，为了只提取球体特征部(F)，必须有效且适当地移除凹纹部(DP)、 渐变的影响以及各种杂讯，而只留下球体特征部(F)，这是经由球体特征部 提取器进行，将在下文中参考图7而说明。

为了提取球体特征部(F)，必须有效且适当地只提取球体部(21、22、 23)，即，只有来源影像中的球体影像，如图3所示。

图5(a)至(c)显示从来源影像中只提取球体影像的情形。在此，球体部(21、 22、23)可被搜寻，并精确地从来源影像中提取，使得球体部的中心是提取 球体影像的中心，而球体影像的轮廓本质上是对应于提取影像的轮廓。

从个别来源影像中只提取球体部(21、22、23)所获得的影像，即球体 影像(211、212、213)，具有对应于来源影像上球体部的大小，并因而具有 不同大小。标示在个别来源影像上的球体部(21、22、23)是依据与照像机 的距离而受到照明的不同影响，并因而对于每个个别的球体影像，亮度也变 动。

为了精确提取球体特征部，球体影像(211、212、213)必须均等化其大 小，以及正规化其亮度。

图6(a)至(c)显示包含对应于图5(a)至(c)的球体影像的影像，其大小亮度 是被球体影像正规化部所正规化(Nomalization)。

即，球体影像(211、212、213)可依据个别预设大小而放大或缩小，或 剩余的球体影像可依据球体影像(211、212、213)的其中之一而放大或缩小， 即正规化可对每个球体影像而进行，藉以均等化球体影像的大小。

此外，正规化可对每个球体影像而进行，使用构成球体部的所有像素的 平均值，以相互均等化球体影像的整个亮度。

如上所述，在对每个球体影像的正规化完成后，经由球体特征部提取器， 对每个规化球体影像进行球体特征部F的提取处理，如图7所示。

图7(a)显示称作原始影像的正规化球体影像。图7(b)、(c)、(d)及(e)显示 依序累积微分影像所获得的影像，而微分影像是从任意角度转动原始影像的 球体所形成的影像中减去原始影像而获得。图7(f)是藉由二元化图7(e)所示的 累积影像所获得的影像。图7(b)所示的影像是以相对于球体中心点的预设角 度或任意选取角度转动图7(a)所示的原始影像而获得，然后提取藉由从球体 被转动的影像中减去原始影像所获得的微分影像。在此，图7(b)是当作第一 微分影像。随着获得微分影像的次数增加，标示微分影像的顺序逐一增加。 在转动影像及原始影像之间的微分影像中，该二个影像间的改变部显得明亮， 而且该二影像间的非改变部显得灰暗，因而特征部F大部分显得明亮，而剩 余部显得几乎灰暗。

虽然球体转动，但是凹纹部在转动之前及之后几乎是相同，所以几乎是 非改变部。因此，凹纹部几乎是被移除(灰暗区)，而且原始影像的渐变部或各 种杂讯部被移除。

然而，特征部不会经由一次获得的微分影像而出现。所以，藉以另一角 度提取微分影像并累积所抽出的微分影像到先前的微分影像上，影像的亮区 显得较亮，而特征部显得较亮且更明显。

图7(c)显示藉累积微分影像所获得的第二累积影像，而微分影像是用预 设角度或随意选取角度转动原始影像的球体而获得，即，藉由将第二微分影 像累积到图7(b)所示当作第一微分影像的影像上。

图7(d)显示藉累积微分影像所获得的第三累积影像，而微分影像是从用 预设角度或随意选取角度转动原始影像的球体所形成影像中减去原始影像而 获得，即，藉由将第三微分影像累积到图7(c)所示的当作第二微分影像的影 像上。

图7(e)显示藉累积微分影像所获得的第四累积影像，而微分影像是从用 预设角度或随意选取角度转动原始影像的球体所形成影像中减去原始影像而 获得，即，藉由将第四微分影像累积到图7(d)所示的当作第三微分影像的影 像上。

如同从依序累积第四微分影像所获得的第四累积影像中所见，即从图7(e) 所示影像中可看出，特征部出现非常亮且剩余部几乎完全被移除，变成几乎 黑区。然而，凹纹部未被完全移除，且部分出现。

因此，为了只提取特征部，第四累积影像是经由临界(Threshold)处理或 类似使用预设参考值而被二元化，藉以提取图7(f)所示的影像。

图7(f)所示的影像是只有完全抽提取特征部(FC)出现的影像，以及其 称为特征部影像。

特征部是从连续球体影像中个别提取，如上所述，藉以准备特征点影像， 且球体的旋转是使用特征点影像藉旋转计算器而计算。

在此，球体的旋转是可藉计算在三维空间中基于i轴、j轴、k轴的座标 系统绕着旋转轴的座标资讯，以及藉计算用以相对于旋转轴而转动的角度而 计算，即关于旋转量的资讯，如图8所示。

如图8所示，用以代表三维空间旋转运动的分量可包含俯仰角(pitch)、偏 摆角(yaw)以及滚动角(roll)。此外，当在i轴方向的转动分量为θ，在j轴方 向的转动分量为λ，且在k轴方向的转动分量为ρ时，目标旋转的矢量(ω) 可依据以下的[方程式1]表示。

[方程式1]

$\overrightarrow{\omega }=\theta i+\lambda j+\sigma k$

基于旋转矢量(ω)，旋转轴资讯及旋转量资讯可分别依据以下的[方程2] 及[方程式3]计算。在此，α是旋转量资讯。

[方程式2]

$\bar{\omega }=(\frac{\theta }{\alpha },\frac{\lambda }{\alpha },\frac{\rho }{\alpha })$

[方程式3]

$\alpha =\sqrt{{\theta }^2+{\lambda }^2+{\rho }^2}$

因此，旋转轴及旋转量资讯可藉计算θ当作移动球体的旋转的偏摆角 yaw转动分量，λ是滚动角roll转动分量且ρ是俯仰角pitch转动分量来获 得。

旋转轴及旋转量资讯可从球体影像中提取的特征部而获得，如图7所示。

即，如图9所示，旋转轴及旋转量资讯可使用第一特征部影像(图9(c)) 及第二特征部影像(图9(d))而提取，其分别包括用于在该二连续球体影像(图 9(a)及图9(b))上个别特征部(F1及F2)的最后提取特征部(FC1及FC2)。 可获得构成在第一特征部影像(图9(c))上的第一特征部(FC1)的每个像素的三 维位置资讯。然后，在任意旋转轴及旋转量资讯被应用到所计算的三维位置 资讯之后，其结果是与在第二特征部影像(图9(d))上的第二特征部(FC2)互 相比较。此时，当结果是相同或几乎相同时，任意旋转轴及旋转量资讯即是 最后旋转轴及旋转量资讯。以这种方式，任意旋转轴及旋转量资讯是重复应 用到第一特征部(FC1)。用于让结果最接近第二特征部(FC2)的旋转轴及 旋转量资讯可选取成最后旋转轴及旋转量资讯，藉以计算移动球体的旋转量。

如上所述，本发明提供一种快速且精确地从连续获得的来源影像中提取 球体部的特征部而以简单方式基于特征部而快速且精确地计算球体旋转的方 法。

发明模式

已经以最佳模式说明不同实施例用于实现本发明。

产业利用性

依据本发明供感测移动球体的装置及方法以及供计算移动球体的旋转的 球体影像的影像处理方法可应用于关于高尔夫训练的工业领域，包含依据高 尔夫挥杆分析被敲击的高尔夫球，是一种所谓的萤幕高尔夫工业领域，提供 虚拟实境模拟让使用者游玩虚拟高尔夫游戏等等。