通过几何修正和翘曲进行的运动分析

摘要

燃气涡轮机中的在具有大于400F的温度的热的大气中的对象在3D空间中移动。该移动可包括振动移动。该移动包括绕着轴的旋转移动和沿着轴的平移移动。用可以是高速摄像机的摄像机来记录对象的图像。为对象提供在图像中被跟踪的图案。确定对象的参考图像中的子补片的翘曲以形成标准形式的被翘曲区域。将该翘曲分段地应用于后续图像中的各区域以产生已修正图像。对经分段修正的图像应用诸如SSD跟踪的标准跟踪以确定对象的移动。由处理器来执行图像修正和对象跟踪。

说明书

相关案件声明

本申请要求2011年9月19日提交的美国临时专利申请序列号61/536,255的优先权和权益，该专利申请通过引用被完全结合到本文中。

技术领域

本发明涉及对400F及更高温度下的涡轮机中的对象移动的基于图像的非接触测量。

背景技术

监视诸如被用于发电的燃气涡轮机的各部件在工作期间的振动行为是有用的。涡轮机的内部部件在远在室温以上的温度下工作。并且，涡轮机的主要区域在工作期间对于诸如加速度计之类的传感器而言并不是容易接近的。用于监视涡轮机部件在工作期间的振动行为的非接触测量解决方案是优选的。

相信当前没有基于摄像机的系统或方法可用于提供涡轮机的特定部件的图像以使得能够准确地分析此类部件在3D空间中的高频振动。

相应地，需要改进且新型的基于摄像机的方法和系统来记录在3D空间中移动且允许准确的移动分析的工作中的涡轮机的部件的图像。

发明内容

提供了用以跟踪多个图像中的3D对象的方法。根据本发明的一个方面，一种方法可以包括步骤：在3D对象上提供预定图案、识别所述多个图像中的参考图像中的包含3D对象上的预定图案的至少一部分的补片（patch）、确定该补片中的多个子补片、针对该补片中的所述多个子补片中的每一个使所述预定图案的被捕捉部分翘曲成标准形式图像形状、确定第二图像中的在所述补片内部的图像区域、由处理器将翘曲应用于所述补片内部的第二图像的图像数据；以及所述处理器根据所述参考图像和第二图像来确定所述3D对象的移动。

根据本发明的另一方面，上述方法可以包括通过对所述参考图像和第二图像应用平方差和（SSD）跟踪来确定该移动的步骤。

根据本发明的另一方面，3D对象是在具有大于400华氏度的温度的大气中移动的涡轮机的一部分。

根据本发明的又一方面，所述预定图案是棋盘图案。并且，所述标准形式图像形状可以是正方形。该补片可以覆盖约3600个像素。

根据本发明的另一方面，3D对象的移动包括频率大于100 Hz的振动移动。

根据本发明的另一方面，3D对象经历绕着轴的圆周移动和沿着轴的平移移动。

根据本发明的另一方面，可以用红外线图像传感器来产生所述多个图像。

根据本发明的另一方面，可以通过子补片中的每个图像元素到已修正图像中的图像元素的2×2投影变换来确定翘曲。

根据本发明的另一方面，还提供了一种用以执行本文所述步骤的系统。该系统包括被使能为存储包括指令的数据的存储器和被使能为执行指令以执行本文所述步骤的处理器。

附图说明

图1和2图示出根据本发明的一方面的两个移动机器部件和背景的由摄像机实现的图像。

图3图示出根据本发明的一方面的用以跟踪移动的机器部件上的补片；

图4图示出根据本发明的一方面的图像中的补片移动；

图5图示出机器部件的图像和其中将应用图像翘曲的位置；

图6-11图示出根据本发明的各方面的图像翘曲；

图12图示出根据本发明的一方面的对被翘曲的补片的跟踪；

图13图示出根据本发明的各方面的图像翘曲；

图14图示出根据本发明的一方面的对被翘曲的补片的跟踪；

图15图示出根据本发明的各方面的所执行的步骤；以及

图16图示出根据本发明的一方面的基于处理器的系统。

具体实施方式

根据本发明的一方面，监视并从视频图像分析工作中的涡轮机中的至少一个引擎部件的独立的2D和3D运动。所述视频图像是用视频摄像机捕捉的。在本发明的一个实施例中，部件在具有超过300华氏度或者甚至超过400华氏度或者甚至超过500华氏度或者甚至超过600华氏度的温度的涡轮机的暖和的或热的部分内部具有移动。

在本发明的另一实施例中，部件的移动包括振动。该振动可具有小于100 Hz的频率分量。该振动可具有100 Hz或更高的频率分量。频率分量可以在高达300 Hz的范围内。在本发明的一个实施例中，用以记录涡轮机的相对高温部分中的所述至少一个部件的移动的视频摄像机是具有红外（IR）图像传感器且以例如每秒2000帧的高帧速率进行记录的高速摄像机。在本发明的另一实施例中，分析涡轮机中的至少两个引擎部件的2D和3D运动。

该问题是困难的，因为引擎部件执行独立的运动且受到它们被附着到的基座的未知运动的影响。因此，对象的所观察到的图像运动是基座的未知运动与单独的引擎部件运动的组合。此外，存在由周围区域中的热空气引起的烟雾效应。此烟雾在部件上引起不同的光学效应，并且被假设为至少在对象的小部分或对象图像的小补片上是恒定的。根据本发明的一方面，提供了用以通过使用高速摄像机来分析具有与室温相比相对高的温度的涡轮机中的一个或多个引擎部件的仅单独运动的方法和系统，所述运动可以是高频运动。

图1以样本图像的形式示出了装置的一个配置，并且图2以示意图的形式图示出装置的一个配置。两个引擎部件101和102正在被跟踪并且它们的移动被分析。所述两个引擎部件可独立于第三部件103进行移动，或者可被附着于可以是引擎框架的第三引擎部件103。用以记录引擎部件101和/或102的摄像机可附着于框架103，或者可独立于基座或框架103。为了促进对101和/或102的移动的分析，用区别图案来覆盖这些部件。在本发明的一个实施例中，该图案是具有不同的可区别色彩的正方形的棋盘图案。图案的尺寸是以其使得能够实现对预期运动的充分检测的方式被选择的。在本发明的一个实施例中，某些或所有正方形被提供有使得能够实现自动定位和跟踪的区别标记。

部件101和102的移动可以是任何移动，但是出于示例分析的目的，假设其为沿着轴的轴向移动和绕着轴201和202的圆周或旋转移动。用摄像机拍摄的图像是2D图像。对象101和102的旋转移动和轴向移动因此在2D图像中看起来是棋盘图案的平移移动。对象在z方向（垂直于屏幕或图像平面）上的移动将产生棋盘元素的尺寸的变化。

除非棋盘图案位于图像平面内且对象的移动在该图像平面内，否则棋盘图案将由于投影失真而失真并且可能在对象绕着其轴旋转时进一步失真。

想要实现的是通过连续图像来跟随或跟踪具有例如棋盘图案的图案的对象的移动，其中，绕着轴的旋转移动和/或沿着轴的移动呈现为2D平面中的平移移动。例如，对象上的图案中的正方形301的小的移动（旋转的和/或平移的）将呈现为在x和y方向上沿着矢量s_xy移动的新位置302上的正方形。

因此，采取2D平移运动模型，并且通过跟踪对象上的棋盘图案中的补片的图像间平移移动来跟踪对象。这在图3中针对包括具有9个重叠补片401的机器部件101的图像被图示出。每个补片包括4个矩形且与下一补片的重叠是1个矩形。

通过应用标准平方差和（SSD）跟踪技术来单独地跟踪9个部分重叠的补片。将中心窗口的运动矢量与周围8个窗口的运动矢量的平均值相比较。检查运动矢量的一致性。由于补片全部在单个对象上，所以它们应显示出一致的运动。在图4中图示出来自部件101上的401中的不同补片的运动矢量的范数，其中，在横轴上提供了帧数且竖轴指示运动矢量的范数。人们可以注意到图4中的运动矢量的范数的大的偏差，从而意味着跟踪是位置敏感的，并且因此以如在图4中所反映的形式是不可靠的。

存在使3D部件在2D图像中的跟踪失真的至少两个效应：a）投影失真和b）热（或烟雾）相关失真。所记录的图像                                                是的结果，其中，反映由于热和烟雾而引起的光学失真且反映投影失真。光学失真是由涡轮机中的暖和的和热的空气和/或气体的运动产生的并受其影响，并且将被认为仅在小区域上是相对一致的。投影失真取决于对象的形状。因此，所记录的图像和与3D空间中的原始图案相比的图像的失真至少是位置相关的。

根据本发明的一方面，应用在3D空间中被跟踪的对象上的图案的实际形状和尺寸的知识，以通过分析随着对象在3D空间中移动而从图像获取的对象的图像来跟踪对象随时间推移的移动。根据本发明的一方面，在图像中，将被布置在对象上的图案的至少一个元素（其中该元素的图像看起来是失真的）翘曲成标准形式。预期的是，在被翘曲成标准形式的图像中对象上的不同补片相对于彼此将显示出一致的移动，因此提供用于跟踪诸如涡轮机的机器中的热的大气中的引擎部件的可靠的非接触监视方法。

根据本发明的一方面，通过应用以下步骤来实现对图像中的至少经历该图像中的投影失真的对象的跟踪：

（1）为对象提供图案；

（2）（针对每个对象）用分段翘曲来矫正输入图像；以及

（3）独立地跟踪多个（部分重叠的）窗口。

为了检查上述方法的可行性，可以通过（4）比较运动矢量并检查它们的一致性来进行验证。

如例如图1中所示的引擎部件上的棋盘图案具有黑的和白的正方形，所述正方形具有已知尺寸（例如3.818mm×3.818mm）。在本发明的一个实施例中，该图案具有正方形，其中经受本文所述的方法的图案的正方形的边等于或大于3mm。在本发明的一个实施例中，该图案具有正方形，其中经受本文所述的方法的图案的正方形的边小于3mm。在本发明的一个实施例中，该图案具有各元素，每个元素具有经受本文所述的方法的表面并且该表面小于9mm²。在本发明的一个实施例中，该图案具有各元素，每个元素具有经受本文所述的方法的表面并且该表面等于或大于9mm²。在本发明的一个实施例中，该图案具有矩形，其中共享侧边的所有矩形具有不同的色彩。应注意的是，其他图案也是可能的且可以用来跟踪对象。一个目的是测量圆柱形引擎部件的轴向和圆周方向上的度量运动。出于此目的，使用棋盘图案作为说明性示例。

根据本发明的一个方面，使每个图像中的感兴趣区域（ROI）翘曲成规范模板。具体地，由于是棋盘图案，在输入图像中选择正方形区域的四个拐角并将其映射到经几何修正的图像中的正方形。由于引擎部件是圆柱形对象，所以存在用于几何修正的两个解决方案。

（1）可以使用圆柱形引擎部件的物理模型（例如CAD）并导出该几何修正映射；

（2）可以从输入图像中选择小的区域并使用2×2投影变换P_i将它们映射到经几何修正的图像中的相应位置（正方形的四个拐角）。针对平面表面（棋盘）上的每个场景点X，可以将其在图像中的成像点u线性地映射到规范图像正方形的点。

由于引擎部件不是平面的，所以仅将这样的变换应用到其中这样的线性映射是良好近似的小区域。结果，针对几何修正步骤实现了分段翘曲。此翘曲还修正热气体的（局部）效应。

在本发明的一个实施例中，在处理器上实现第二种方法以获得用于几何修正的分段翘曲。使用一组4×5＝20个分段翘曲，并且每个分段翘曲针对参考图像确定仅一次。然后将使用分段翘曲来对每个输入图像进行几何修正。

规范图像模板被设计成具有与在原始图像中类似的分辨率（对每个正方形使用20×20像素），使得运动信息被最佳地保持。根据本发明的一方面，图案元素的元素的被翘曲的图像是具有约400个像素的正方形。本文中的术语“约400个像素”意指不小于350个像素且不超过450个像素的尺寸。对经几何修正的图像序列执行运动跟踪。然后从经几何修正的图像中的图像运动矢量容易地获得度量运动。

补片尺寸和运动范围

为了决定用于上述方法中的对象跟踪的补片尺寸，存在折衷：较大的补片通常将产生较平滑的跟踪结果，但可能失去用于定位的跟踪准确度，而较小的补片尺寸可以提供用于定位的更好的准确度，但可能由于窗口中的对比度不足而失败。根据经验决定：对于图1的本示例和如在图4的图表中所示的所经历的移动而言，60×60像素的补片尺寸提供准确度与可靠性之间的良好平衡。根据本发明的一方面，补片包括约3600个像素。本文中的约3600个像素包括不少于3200个像素和不超过4000个像素。

此外，同样应用多个重叠窗口（例如9个），并分析使用分段翘曲的它们的跟踪结果。它们的运动图案经证明在欧几里得空间中以及在频域中都是一致的，并且因此证明上述方法是有效的。通过使用多个重叠窗口，消除了由图像噪声引起的潜在的错误运动估计。

图6是图1的左引擎部件101的图像。可将图5视为原始输入。进一步被识别的是在其中将跟踪补片且其中将发生子区域的翘曲以实现如上所述的方法的区域601。

图6图示出具有作为被分段翘曲的第一子补片的子部分701的图像区域601。图7图示出具有作为被分段翘曲的第二子补片的子部分801的图像区域601。图8图示出具有作为被分段翘曲的第三子补片的子部分901的图像区域601。图9图示出具有作为被分段翘曲的第四子补片的子部分1001的图像区域601。图10图示出具有用于该补片的所有分段翘曲的图像部分1101。

在图6-10中可以看出，每个子补片通过产生正方形图案的（仿射的）翘曲而被矫正。框701、801、901、1001和1101内部的图案是正方形，而在这些框外面的棋盘形图案很明显地被歪曲为具有更细长的形状而不是正方形。相应地且根据本发明的一方面，通过子补片中的每个图像元素到已修正图像中的图像元素的2×2投影变换来确定翘曲。

图11示出了具有带有被分段翘曲的至少补片1201和1202的左引擎部件的图像。在图12中的图表中图示出了这些补片在400个图像上的运动范数。图13示出了具有带有也被分段翘曲的至少补片1401和1402的右引擎部件的图像。在图14中的图表中图示出了这些补片在400个图像上的运动范数。图11和13中的补片内部的区域与补片边界的外部相比清楚地将被翘曲的图案展示为正方形图案。还可以观察到，用于不同补片的运动范数的偏差是非常小的。这使得能够通过对如图1中所示的图像中的多个对象应用翘曲方法来实现对引擎部件的运动的相对准确的跟踪和对图像中的两个或更多对象的运动的直接比较。

在本发明的一个实施例中，例如，只有当至少多个邻近补片显示出如图12和14中所示的一致的运动时，才认为跟踪结果是可靠的。

根据本发明的一方面，对经几何修正的图像序列执行基于SSD的跟踪。从图12和14中的图表观察到，不同补片之间的运动范数的偏差是非常小的。这意味着，对于经几何修正的序列而言，SSD跟踪并不是位置敏感的并且捕捉引擎部件的实际运动。由于翘曲，可以将图像中的运动矢量直接变换成诸如毫米的度量。结果，可以分析并比较左和右引擎部件的独立运动。

图15概括了根据本发明的各方面提供的某些步骤。在步骤1601中，确定3D对象的移动以确定对象上的图案的期望尺寸。在步骤1603中，向对象施加图案，该对象例如是热的涡轮机中的机器部件。在步骤1605中，在在图像中被跟踪的3D对象的图像上确定补片尺寸和位置。在步骤1607中，针对多个子补片中的每一个确定分段翘曲以使子补片翘曲成标准形式。在本发明的一个实施例中，这样的标准形式是正方形，其中其侧边沿着图像帧的x和y轴。在步骤1608中在由摄像机拍摄的参考帧中确定翘曲，并在步骤1609中将其应用于由摄像机拍摄的后续图像中的补片，以通过对被翘曲的补片应用诸如平方差和（SSD）跟踪技术的跟踪技术来跟踪被翘曲的补片从而计算该机器部件的移动。通过应用分段翘曲，解决了由热的气体引起的局部图像失真。

因此，根据本发明的各方面，首先对第一或参考图像执行几何修正。在此之后，用已修正的图像中的2D平移来很好地近似在图像中被表示的目标的3D运动。已针对更一般的运动模型（包括如在本领域中已知的翘曲）尝试了多个其他方法。观察到的是，这些更一般的运动模型未提供显著的其他信息，而常常需要更多的计算努力。相应地，根据本发明的一方面，每个像素处的所测量的运动是根据已修正的图像确定的2D矢量（dx，dy）。这是使用作为已知方法的SSD（平方差和）而被解决的。

至少一个非预期结果是：对一系列图像中的至少与3D空间中的移动对象有关的区域的相对简单的修正允许通过已修正图像中的像素的平移来成功地确定或近似对象的3D移动，对象的3D移动至少涉及对象的旋转。可以通过以子像素准确度对已修正图像进行图像分析来近似对象的移动的实际速度和频率。

如在本文中提供的方法在本发明的一个实施例中被实施在系统或计算机设备上。因此，本文所述的步骤是在处理器上实现的，如图16中所示。在图17中图示出且如在本文中提供的系统被使能用于接收、处理和生成数据。该系统被提供有可以被存储在存储器1701上的数据。可从诸如摄像机（例如IR高速摄像机）的传感器或从任何其他数据相关源获得数据。可在输入端1706上提供数据。这样的数据可以是图像数据或者是在如在本文中提供的系统中有帮助的任何其他数据。处理器还被提供有执行本发明的方法的指令集或程序，或者用该指令集或程序对处理器进行编程，该指令集或程序被存储于存储器1702上并被提供给处理器1703，处理器1703执行1702的指令以处理来自1701的数据。可以在输出设备1704上输出诸如图像数据或由处理器触发或引起的任何其他数据的数据，输出设备1704可以是用以显示图像的显示器或数据存储设备。处理器还具有通信信道1707以从通信设备接收外部数据并向外部设备发射数据。在本发明的一个实施例中该系统具有输入设备1705，其可包括键盘、鼠标、定点设备、一个或多个摄像机或能够生成将被提供给处理器1703的数据的任何其他设备。

处理器可以是专用的或应用特定的硬件或电路。然而，处理器还可以是一般CPU、控制器或能够执行1702的指令的任何其他计算设备。相应地，如图17中所示的系统提供了用于处理从摄像机或任何其他数据源得到的数据的系统，并且被使能为执行在本文中作为本发明的一个或多个方面被提供的方法的步骤。

根据本发明的一个或多个方面，提供了用于从由摄像机生成的图像数据来跟踪3D对象在3D空间中的移动的方法和系统，其中，图像数据的一部分被翘曲成标准形式。

因此，在本文中已描述并提供了新型系统和方法及实现该方法的步骤。

应理解的是，可以硬件、软件、固件、专用处理器或其组合的各种形式来实现本发明。在一个实施例中，可以软件的形式将本发明实现为被有形地包含在程序存储设备上的应用程序。该应用程序可被上传到包括任何适当架构的机器并被该机器执行。

应理解的是，由于在附图中所描述的某些组成系统部件和方法步骤可以以软件的形式来实现，所以系统部件（或过程步骤）之间的实际连接可根据本发明被编程的方式而不同。在给出了本文提供的本发明的教导的情况下，相关领域的普通技术人员将能够构想本发明的这些及类似的实施方式或配置。

虽然已示出、描述并指出了应用于本发明的优选实施例的本发明的基本新颖特征，但将理解的是，在不脱离本发明的精神的情况下可由本领域的技术人员进行所示的方法和系统的形式和细节及其操作方面的各种省略和替换及变更。因此意图在于，仅仅如权利要求的范围所指示的那样被限制。

权利要求书(按照条约第19条的修改)

1.一种用以在多个图像中跟踪3D对象的方法，包括：

在所述3D对象上提供预定图案；

在所述多个图像中的参考图像中识别包含所述3D对象上的所述预定图案的至少一部分的补片；

确定所述补片中的多个子补片；

针对所述补片中的所述多个子补片中的每一个，使所述预定图案的被捕捉部分翘曲成标准形式图像形状；

确定第二图像中的所述补片内部的图像区域；

处理器将第二图像中的所述补片内部的图像区域的图像数据翘曲成所述标准形式图像形状；以及

所述处理器根据所述参考图像和所述第二图像来确定所述3D对象的移动。

2.权利要求1的方法，其中，通过对所述参考图像和第二图像应用平方差和（SSD）跟踪来确定所述移动。

3.权利要求1的方法，其中，所述3D对象是在具有大于400华氏度的温度的大气中移动的涡轮机的一部分。

4.权利要求1的方法，其中，所述预定图案是棋盘图案。

5.权利要求1的方法，其中，所述标准形式图像形状是正方形。

6.权利要求1的方法，其中，所述补片覆盖约3600个像素。

7.权利要求1的方法，其中，所述3D对象的所述移动包括频率大于100 Hz的振动移动。

8.权利要求1的方法，其中，所述3D对象经历绕着轴的圆周移动和沿着所述轴的平移移动。

9.权利要求1的方法，其中，所述多个图像是用红外图像传感器产生的。

10.权利要求1的方法，其中，翘曲是通过子补片中的每个图像元素到已修正图像中的图像元素的2×2投影变换来确定的。

11.一种用以在多个图像中跟踪3D对象的系统，包括：

存储器，其被使能为用以存储包括指令的数据；

处理器，其被使能为用以执行指令以执行步骤：

　　在所述多个图像中的参考图像中识别包含所述3D对象上的预定图案的至少一部分的补片；

　　确定所述补片中的多个子补片；

　　针对所述补片中的所述多个子补片中的每一个，使所述预定图案的被捕捉部分翘曲成标准形式图像形状；

　　确定第二图像中的所述补片内部的图像区域；

　　使第二图像中的所述补片内部的所述图像区域的图像数据翘曲成所述标准形式图像形状；以及

　　根据所述参考图像和所述第二图像来确定所述3D对象的移动。

12.权利要求11的系统，其中，通过对所述参考图像和第二图像应用平方差和（SSD）跟踪来确定所述移动。

13.权利要求11的系统,其中，所述3D对象是在具有大于400华氏度的温度的大气中移动的涡轮机的一部分。

14.权利要求11的系统，其中，所述预定图案是棋盘图案。

15.权利要求11的系统，其中，所述标准形式图像形状是正方形。

16.权利要求11的系统，其中，所述补片覆盖约3600个像素。

17.权利要求11的系统，其中，所述3D对象的所述移动包括频率大于100 Hz的振动移动。

18.权利要求11的系统，其中，所述3D对象经历绕着轴的圆周移动和沿着所述轴的平移移动。

19.权利要求11的系统，其中，所述多个图像是用红外图像传感器产生的。

20.权利要求11的系统，其中，翘曲是通过子补片中的每个图像元素到已修正图像中的图像元素的2×2投影变换来确定的。