使用图像中的特征点估算车辆动态的系统和方法

摘要

本公开描述了使用图像中的特征点估算车辆动态的系统和方法，比如车辆上的全景摄像机系统中的摄像机。该方法包括识别全景摄像机系统中任意两个摄像机的重叠图像区域，识别该重叠图像区域内的公共特征点，以及确定该重叠图像区域内的公共特征点不在同一位置。该方法还包括由公共特征点之间的匹配估算三自由度车辆动态参数，以及使用车辆动态参数估算俯仰角、侧倾角和高度变量中一个或多个的车辆动态。

说明书

与相关申请交叉引用

本申请主张2014年5月16日提交的名称为“全景摄像机系统(VPM)与 车辆动态”的美国临时专利申请序号NO.61/994,686的优先权日的权益。

技术领域

本发明总地涉及一种用于估算移动平台动态的系统和方法，并且更特别 地涉及，通过匹配来自车辆上的全景摄像机系统的摄像机的重叠图像中的特征 点来估算车辆动态的系统和方法。

背景技术

现代车辆通常包括一个或多个摄像机，该摄像机可提供倒车辅助、拍摄 车辆驾驶员的图像以确定驾驶员困倦或注意力、提供车辆行驶时道路图像用于 避免碰撞目的、提供结构辨别，诸如道路标记等。其他的车辆视图应用包括车 道感测系统，其用于感测车辆行驶车道并在车道中央驾驶车辆。许多上述已知 车道感测系统为各种应用检测道路上的车道标识，诸如车道偏离警告(LDW)、 车道保持(LK)、车道居中(LC)等，并且通常使用位于车辆前部或位于车辆 后部的单一摄像机以提供用于检测车道标识的图像。

本领域已提出，在车辆上提供环景摄像机系统，其包括前视摄像机、后 视摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像生成 车辆及周围区域的自顶向下(top-down)的视图，并且其中图像在车辆角部处相 互重叠。自顶向下的视图可以显示给车辆驾驶员，以看到车辆周围的情况用于 在倒车、泊车等。未来的车辆可能不使用后视镜，而可以替代地包括由环景摄 像机提供的数字图像。

2013年4月9日授予Zhang(张)等人的题目为“具有环景系统的全速车 道感测”的美国专利申请公开号No.2013/0293717，转让给本申请的受让人，并 且通过引用方式并入本文，公开了一种通过检测道路车道标识来在车辆上提供 车道感侧的系统和方法，其中该系统采用了提供车辆周围的自顶向下视图图像 的环景摄像机系统。该方法包括在自顶向下视图中检测左侧和右侧车道边界线， 并且然后确定图像中的车道边界线在该自顶向下视图图像中从图像帧至下一个 图像帧是否对齐以及在图像与图像之间是否对齐。

对于许多基于摄像机的车辆应用而言，精确校准摄像机相对于车辆的定 位和定向至关重要。摄像机校准通常指估算大量摄像机参数，包括内在参数和 外在参数，其中内在参数包括焦距、光心、径向畸变参数等，并且外在参数包 括摄像机位置、摄像机定向等。摄像机外在参数校准通常包括确定将摄像机图 像坐标与车辆坐标关联的一组参数，反之亦然。一些摄像机参数，诸如摄像机 焦距、光心等，是稳定的，而另一些参数，诸如摄像机的定向和位置，是不稳 定。例如，摄像机的高度取决于将会不时地变化的车辆的负载。

在已知的环景摄像机系统中，来自摄像机的图像在车辆的角部处重叠， 其中摄像机校准过程将相邻图像“拼接”在一起，使得单独图像中的公共元素直 接相互重叠，以提供期望的自顶向下视图。在车辆制造期间，这些摄像机图像 被拼接在一起以提供该图像使用任何数量的校准技术，从而使得当车辆初次投 入使用时，摄像机被正确地校准。使用的一种校准技术是将车辆定位于具有交 替的明的和暗的正方形的测试板图案上，其中正方开的每个点被便当地识别。 在显影图像中，使用这些点允许摄像机校准软件校正图像的位置，这样使得在 相同位置识别出相邻图像中的重叠点。

然而，一旦车辆投入使用，则可能发生各种情况，其可能导致摄像机定 向和位置变化，其中摄像机的校准包括导致自顶向下图像中产生未对准的误差。 这些情况可能包括车辆的负载，其导致摄像机位置(诸如高度)和/或摄像机定 向(诸如俯仰角)相对于世界坐标发生改变；对车辆的小撞击，其可能改变摄 像机的定位和定向等。但是，处理来自摄像机的图像以生成自顶向下视图的当 前视频处理模块(VPM)无法在车辆使用时在线重新校准摄像机。相反，车辆 操作者必须将车辆带至有能力以在车辆制造期间所进行的同样方式重新校准摄 像机的经销商或其他授权服务中心，这具有显而易见的缺点。

发明内容

本公开描述了一种通过匹配平台上的摄像机的重叠图像中的特征点来估 算移动平台动态的系统和方法，比如车辆上的全景摄像机系统中的摄像机。该 方法包括识别全景摄像机系统中任意两个摄像机的重叠图像区域，识别该重叠 图像区域内的公共特征点，以及确定该重叠图像区域内的公共特征点不在同一 位置。该方法还包括由公共特征点之间的匹配估算三自由度车辆动态参数，以 及使用车辆动态参数估算俯仰角、侧倾角和高度变量中一个或多个的车辆动态。 本发明包括以下方案：

1、一种使用来自车辆上的全景摄像机系统的摄像机的图像估算车辆动态的方 法，所述方法包括：

识别全景摄像机系统中任意两个摄像机的一个或多个重叠图像区域；

识别一个或多个重叠图像区域内的公共特征点；

确定重叠图像区域内所识别的公共特征点在重叠图像区域内不在同一位置；

由公共特征点之间的匹配估算三自由度的车辆动态参数；以及

使用车辆动态参数估算俯仰角、侧倾角和高度变量中的一个或多个的车辆动 态。

2、如方案1中所述的方法，其中识别公共特征点包括识别重叠图像区域内 的关注区，所述关注区包括公共特征点。

3、如方案1中所述的方法，其中识别公共特征点包括识别来自两个摄像机 的图像中的公共特征点，所述公共特征点为世界坐标中相同点位置的投影。

4、如方案1中所述的方法，其中估算车辆动态包括基于公共特征点之间的 差异求解动态方程，以获得车辆的俯仰角、侧倾角和/或高度变量的估算值。

5、如方案1中所述的方法，其中估算车辆动态包括确定旋转矩阵和转换矢 量。

6、如方案5中所述的方法，其中估算车辆动态包括运用下列方程：

(u，v)_C1～(u，v)_C2，

(u，v)_C1→X_C1，

(u，v)_C2→X_C2，

X_C1＝R_V2C1*R_dyn*(X_W+t′_W2V)+t′_V2C1，

X_C2＝R_V2C2*R_dyn*(X_W+t′_W2V)+t′_V2C2，

其中(u，v)_C1是来自第一摄像机C1的图像中的一个特征点，其为世界点 X_W的投影，(u，v)_C2是来自第二摄像机C2的图像中的另一个特征点，其为世界 点X_W的投影，R_V2Ci是摄像机C_i在车辆坐标v中的旋转矩阵，i是摄像机索引， t是转换矢量，dyn表示车辆动态，以及w是世界坐标。

7、如方案1中所述的方法，其中估算车辆动态包括提供时间跟踪和平滑。

8、如方案1中所述的方法，其中全景摄像机系统包括四个摄像机，其中第 一摄像机定位于车辆前部，第二摄像机定位于车辆后部，第三摄像机定位于车 辆左侧以及第四摄像机定位于车辆右侧。

9、如方案8中所述的方法，其中来自第一摄像机的图像与来自第三摄像机 的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二 摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来 自第四摄像机的图像重叠。

10、一种使用来自移动平台上的摄像机的图像估算平台动态的方法，所述方 法包括：

识别任意两个摄像机的一个或多个重叠图像区域；

识别所述一个或多个重叠图像区域内的公共特征点；

确定重叠图像区域内所识别的公共特征点在所述重叠图像区域内不在同一 位置；

由公共特征点之间的匹配估算三自由度动态参数；以及

使用所述动态参数估算俯仰角、侧倾角和高度变量中的一个或多个的平台动 态。

11、如方案10中所述的方法，其中识别公共特征点包括识别来自两个摄像 机的图像中的是世界坐标中相同点位置的投影的公共特征点。

12、如方案10中所述的方法，其中识别公共特征点包括识别重叠图像区域 内的关注区，所述关注区包括公共特征点。

13、如方案10中所述的方法，其中估算平台动态包括基于公共特征点之间 的差异求解动态方程，以获得平台的俯仰角、侧倾角和/或高度变量的估算值。

14、如方案10中所述的方法，其中估算平台动态包括确定旋转矩阵和转换 矢量。

15、如方案10中所述的方法，其中多个摄像机是全景摄像机系统的部分。

16、如方案15中所述的方法，其中全景摄像机系统包括四个摄像机，其中 第一摄像机定位于平台前部，第二摄像机定位于平台后部，第三摄像机定位于 平台左侧以及第四摄像机定位于平台右侧。

17、如方案16中所述的方法，其中来自第一摄像机的图像与来自第三摄像 机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第 二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与 来自第四摄像机的图像重叠。

18、一种使用来自车辆上的全景摄像机系统中的摄像机的图像估算车辆动态 的动态系统，所述系统包括：

用于识别全景摄像机系统中的任意两个摄像机的一个或多个重叠图像区域 的装置；

用于识别所述一个或多个重叠图像区域内的公共特征点的装置；

用于确定重叠图像区域内所识别的公共特征点在所述重叠图像区域内不在 同一位置的装置；

用于由公共特征点之间的匹配估算三自由度车辆动态参数的装置；以及

用于使用车辆动态参数估算俯仰角、侧倾角和高度变量中的一个或多个的车 辆动态的装置。

19、如方案18中所述的系统，其中用于识别公共特征点的装置识别重叠图 像区域内的关注区，所述关注区包括公共特征点。

20、如方案18中所述的系统，其中用于识别公共特征点的装置识别来自两 个摄像机的图像中的是世界坐标中相同点位置的投影的公共特征点。

本发明的额外特征在结合附图进行的下列描述及所附权利要求时变得显 而易见。

附图说明

图1是包括具有多个摄像机的全景摄像机系统的车辆的示图；

图2是示出了世界坐标、车辆坐标和摄像机坐标的坐标系的车辆等距视 图；

图3是示出了处于静止位置的全景摄像机系统的坐标系；

图4是图3中所示坐标系，其中该坐标系由于车辆动态改变已发生变化；

图5是来自全景摄像机系统的四个摄像机的四个原始图像的图示，示出 了匹配特征对；

图6是示出了匹配特征点的过程的系统方块图；

图7是来自车辆上的前视或后视摄像机的图像的图示，示出了地平线；

图8是来自车辆上的前视或后视摄像机的图像，示出了车辆向下俯倾时 地平线的移动；

图9是来自车辆上的前视或后视摄像机的图像的图示，其中车辆处于侧 倾位形；以及

图10是来自车辆上的前视或后视摄像机的图像的图示，示出了漂移状 况。

具体实施方式

本发明的实施方式的以下论述针对通过匹配来自车辆上的全景摄像机系 统中摄像机的重叠图像中的特征点来估算车辆动态的系统和方法。例如，如所 论述的，系统和方法具有特定应用，用于估算车辆上的车辆动态。但是，正如 本领域技术人员能够理解的，所述系统和方法可以具有用于其他移动平台的应 用，诸如火车、机器、拖车、船舶、露营车等。

图1是车辆10的俯视图，其包括具有前视摄像机12、后视摄像机14、 左侧驾驶员视图摄像机16和右侧乘客视图摄像机18的全景摄像机系统。摄像 机12-18可以是适用于此处所述目的的任意摄像机，其多数在汽车行业中是公知 的，其能够接收光或其他辐射，并利用例如电荷耦合器件(CCD)将光能转换 为像素格式的电信号。摄像机12-18以一定数据帧速率生成图像数据帧，其可以 被储存并用于在视频处理模块(VPM)20中用于后续图像处理。摄像机12-18 可以安装于车辆10内或安装在是车辆10的部分的任意适当结构上，诸如保险 杠、仪表板、格栅、侧视镜、门板等，如由本领域的技术人员将会很好理解和 预期的。在一个非限制性实施方式中，侧置摄像机16和18安装于侧视镜下方 且向下指向。

摄像机12-18生成部分重叠的车辆10周围特定限制区域的图像。特别是， 区域24为用于摄像机12的图像区，区域26为用于摄像机14的图像区，区域 28为用于摄像机16的图像区，以及区域30为用于摄像机18的图像区，其中区 域32是图像24和28的重叠区，区域34是图像24和30的重叠区，区域36是 图像28和26的重叠区，以及区域38是图像30和26的重叠区。来自摄像机12-18 的图像数据传送到VPM20，VPM20处理所述图像数据并将图像拼接在一起， 然后作为车辆10周围的单个自顶向下视图图像在车辆显示器上显示。已知软件 算法，其采用旋转矩阵R和转换矢量t来定向和重新配置来自相邻摄像机的图 像，以使得该图像正确重叠。

车辆动态，即俯仰角、侧倾角和高度变量，影响来自摄像机12-18的图 像24-30的定向。例如，车辆10在车辆制动时会向下俯倾，在猛力加速时会 上仰，转弯时会向一侧侧倾，车辆装载时会上仰或向下俯倾等，这会导致来自 摄像机12-18的图像相对于彼此而变化，即便摄像机已正确校准。

本发明提出一种将来自车辆上的传感器的有关车辆动态的可用信息并入 VPM20内的算法中的系统和方法，其使用摄像机12-18确定全景图像，因而该 图像可以基于车辆动态的变化而得到校正。一般而言，提出的摄像机校正技术 限定三个坐标系，即世界坐标系、车辆坐标系和摄像机坐标系，每一个以X-Y-Z 位置定向进行限定。

图2是包括摄像机52的车辆50的示图，示出了这些坐标系，其中下标 V表示车辆坐标，下标W表示世界坐标以及下标C表示摄像机坐标。车辆50 包括意图代表任意特定车辆上所有可用传感器的传感器54，其可以感测车辆俯 仰角、高度变量和侧倾角，并可通过车辆总线提供识别车辆动态的信号。

下列方程(1)-(3)表示全景摄像机系统的静止定向，并且下列方程(4)-(6)识 别车辆50动态位置的定向，其中R_dyn是车辆50在全部俯仰角、侧倾角和高度 变量中的旋转动态矩阵。显而易见，如果车辆50处于某些动态变化下，即俯仰 角、侧倾角和高度变量变化，则摄像机坐标中点X_C的计算包括转换矢量t以及 增加用于车辆50动态变化的旋转矩阵R。

X_V＝X_W+t′_W2V，(1)

X_Ci＝R_V2Ci*X_V+t′_V2Ci，(2)

＝R_V2Ci*X_W+t′_W2Ci，(3)

X_V＝R_dyn*(X_W+t′_W2V)，(4)

X_C＝R_V2Ci*X_V+t′_V2Ci，(5)

＝R_V2Ci*R_dyn*X_W+t′_W2Ci.(6)

作为全景摄像机系统的部分的摄像机12-18与车辆车身结合从而形成坚 硬的主体框架。图3是X，Y和Z坐标系的示图150，其包括是全景摄像机系 统的部分的四个摄像机152，示出了该结合的参考框架。图4示出了在俯仰和侧 倾方面旋转的示图150，其中旋转矩阵和转换矢量相应地变化。对于此坐标系， 俯仰角、侧倾角和高度变量的车辆动态由旋转矩阵R_veh及转换矢量T_veh限定， 其中摄像机152的旋转矩阵R_cam和转换矢量T_cam通过车辆动态中的变化被校正 为(其中stny表示静态)：

(R_cam，T_cam)＝f((R_veh，T_veh)，(R_cam，T_cam)_stny).(7)

通过为全景摄像机系统的定向提供此校正，可以提供改进的车道感应、 泊车辅助等。

由在车辆制造商或经销商处提供的摄像机12-18的校准而得的来自全景 摄像机系统中摄像机12-18的图像的相对定向的变化可以用于估算车辆动态参 数R_dyn′即车辆50的俯仰角α和侧倾角β的二自由度的旋转动态，以及一自由 度平移动态，即车辆50的高度偏移量Δz。本发明还提出一种以这种方式估算 车辆动态的系统和方法：使用全景摄像机系统中摄像机12-18中的任意两个的重 叠图像区域，以确定该重叠图像区域中的公共特征点不在同一位置，假设摄像 机经过正确校准。该算法检测两个图像中的匹配特征点(u，v)，并由该特征点 (u，v)之间的差异估算三自由度车辆动态参数。假如来自两个摄像机的图像中 的匹配特征点(u，v)是世界坐标中相同位置的投影，那么用未知数求解动态方 程给出了基于点间的距离的车辆50的俯仰角α、侧倾角β和/或高度变量的估算 值。

图5是处于停车场中与其他车辆相邻的车辆10的示图80，其中泊车线 78可用于识别两个重叠摄像机图像中的匹配特征点(u，v)。该匹配特征点(u，v) 不必在地面上，而是可以在地面上方任意适当物体上或者比如车辆车身上。例 如，点82和84分别表示由前视摄像机12和左侧摄像机16提供的图像的重叠 区域32中的相同点或公共点。点86和88分别表示来自前视摄像机12和右侧 摄像机18的图像的重叠区域34中的相同点或公共点。点90和92分别表示左 侧摄像机16和后视摄像机14之间的重叠区域36中的相同点或公共点。点94 和96分别表示右侧摄像机18和后视摄像机14之间的重叠区域38中的相同点 或公共点。车辆动态变化而导致的点82和84之间，或点86和88之间，或点 90和92之间，或点94和96之间的距离，提供了用于确定车辆动态中该变化的 方法。本领域技术人员可以理解，许多计算机视觉和成像系统采用特征点检测 和匹配技术及算法，诸如SIFT、SURF、ORB等，其可以应用于此处论述的目 的。

图6是系统100的方块图，示出了用于识别重叠区域32、34、36和38 中匹配特征点(u，v)的过程的一般图示。在系统100中，框102表示来自前视 摄像机12的图像，框104表示来自左侧摄像机16的图像，框106表示来自右 侧摄像机18的图像，以及框108表示来自后视摄像机14的图像。同步框110 使得来自摄像机12-18的图像102-108的定时同步，这样使得所有图像32、34、 36和38在由校准过程实现空间对齐之前先实现时间对准。分别来自摄像机12 和16的图像102和104在重叠区域32中生成关注区112，分别来自摄像机12 和18的图像102和106在重叠区域34中生成关注区114，分别来自摄像机16 和14的图像104和108在重叠区域36中生成关注区116，以及分别来自摄像机 14和18的图像106和108在重叠区域38中生成关注区118。然后，关注区112、 114、116和118提供至处理器120，该处理器120以本文所论述方式识别关注 区112、114、116和118中的若干匹配特征点(u，v)。

下列方程(8)-(12)示出了确定动态旋转矩阵R_dyn和转换矢量t′_W2V的过程，其 使用公共匹配特征点来识别车辆动态中的变化，然后该公共匹配特征点可用作 至其他车辆系统的输入，其中方程(8)显示了重叠图像区域内两个特征点，其在 摄像机被校准时应在相同位置X。合适的算法可用于此过程，诸如列文伯格马 夸尔特(Levenberg-Marquardt)算法、梯度下降算法等。

(u，v)_C1～(u，v)_C2，(8)

(u，v)_C1→X_C1，(9)

(u，v)_C2→X_C2，(10)

X_C1＝R_V2C1*R_dvn*(X_W+t′_W2V)+t′_V2C1，(11)

X_C2＝R_V2C2*R_dyn*(X_W+t′_W2V)+t′_V2C2，(12)

其中(u，v)_C1是来自第一摄像机C1的图像中的一个特征点，其为世界点 X_W的投影，(u，v)_C2是来自第二摄像机C2的图像中的另一个特征点，其为世界 点X_W的投影，R_V2Ci是摄像机C_i在车辆坐标v中的旋转矩阵，i是摄像机索引， t是转换矢量，dyn表示动态，以及w是世界坐标。

如所论述的，摄像机12-18可用于确定车辆10是否相对于地平线正在俯 仰、侧倾或者漂移。例如，图7是来自沿道路166行驶的车辆10上的摄像机的 车辆10前方的图像160的图示，并以虚线162限定空中和地面之间的非动态地 平线，其中车辆10没有呈现侧倾、俯仰或高度变量。图8是包括非动态地平线 162的图像168的图示，但其中实际的地平线现在在线164处，从而示出了车辆 10向下俯倾。图9是道路166的图像170的图示，其中示出了地平线162沿侧 倾方向成角度。图10是图像172的图示，其中车辆10沿向左方向在道路166 上漂移。

此外，基于全景图像中的变化确定车辆动态的过程可以包括时间跟踪和 平滑。该时间跟踪和平滑可被提供用于非瞬时性车辆变化检测，诸如瘪气轮胎、 不良悬架、牵引和重载。该跟踪还可执行用于检测危险的车辆动态变化，诸如 侧翻检测和预防之字形行驶等。如果侧倾或俯仰动态剧烈变化，则可以通知防 侧倾系统或其他车辆系统以采取纠正措施。

如本领域技术人员将很好理解的，本文中所讨论的用于描述本发明的若 干和各种步骤和过程，可以指由计算机、处理器或使用电气现象操控和/或转换 数据的其他电子计算装置执行的操作。这些计算机和电子装置可以采用各种易 失性和/或非易失性存储器，包括带有存储其上的可执行程序的非暂时性计算机 可读介质，可执行程序包括能由计算机或处理器执行的各种代码或可执行指令， 其中存储器和/或计算机可读介质可以包括所有形式和种类的存储器以及其他计 算机可读介质。

以上论述仅公开和描述本发明的示例性实施例。本领域技术人员从该论 述以及从附图和权利要求可以轻易地认识到在不背离如以下权利要求所限定的 本发明精神和范围的情况下，可以对其做出各种改变、修改和变更。