首页> 中国专利> 用于自动化和自主车辆的多传感器数据融合的方法和装置

用于自动化和自主车辆的多传感器数据融合的方法和装置

摘要

本发明实施例提供一种计算机实现的方法(30),该方法用于基于描述道路走向的状态函数来估计在车辆(11)环境中的道路走向。在此,状态函数包括回旋样条(20)。所述计算机实现的方法(30)还包括提供(31)环境测量数据,其描述在车辆(11)当前位置处的道路走向。环境测量数据在此包括至少一个多项式函数。所述计算机实现的方法(30)还包括将状态函数和环境测量数据变换(32)到共同的坐标系中。所述方法(30)还包括检查(33a)测量数据的错误,并且如果没有识别到错误,则在共同的坐标系中基于环境测量数据调整(33)状态函数,如果识别到错误,则存储(33b)该错误。

著录项

  • 公开/公告号CN113330454A

    专利类型发明专利

  • 公开/公告日2021-08-31

    原文格式PDF

  • 申请/专利权人 宝马股份公司;

    申请/专利号CN202080010137.9

  • 申请日2020-02-19

  • 分类号G06K9/00(20060101);B60W40/072(20060101);G06K9/46(20060101);G06K9/62(20060101);

  • 代理机构11038 中国贸促会专利商标事务所有限公司;

  • 代理人张立国

  • 地址 德国慕尼黑

  • 入库时间 2023-06-19 12:24:27

说明书

技术领域

本发明实施例涉及用于估计道路走向的计算机实现的方法、车辆、计算机程序和装置。所述道路走向在此通过状态函数来描述,该状态函数包括回旋样条。

背景技术

在控制一些自动化车辆或自主行驶的车辆时使用用于估计道路走向的方法,对这种车辆的控制基于所述方法做出驾驶决策。

在此,道路走向可以通过确定对应于状态函数的道路模型来近似描述。由此,可以确定尤其是相对于车辆的位置和/或定向的道路走向。道路走向的特征例如可以是宽度、方向、曲率或相邻车道的数量或者车辆相对于车道的位置(例如车辆位于三个车道中的右侧、中间或左侧车道上)。

然后可以这样控制车辆,使得车辆例如跟随道路走向、避开障碍物或者可以变道。为了高度可用、安全且舒适地运行车辆,可以在确定道路走向或道路模型时将多个数据源的环境测量数据组合(融合)。数据源的组合(也称为数据融合)在此指的是多个数据源的数据的组合。典型的数据源例如可以是传感数据源,如摄像机或数字地图的航点。这种数字地图尤其可以是低分辨率(SD)地图或高分辨率(HD)地图。这种数据融合具有多种不同的可能性。

文献WO2018/019454描述了一种用于确定道路模型的方法。在此,借助对地图数据和观察数据的不同参数化生成用于道路模型的多种假设。基于假设的置信度值来选择用于道路模型的一种假设。在这里没有考虑用于观察数据和摄像机数据的数据融合的方法,该方法确保高度可用地确定道路走向。

发明内容

其它常规的控制装置通常仅使用单个数据源(摄像机、数字地图)的数据来构建道路模型。在此不能确保道路走向的高度可用的确定,因为在数据源出现功能故障时不再能够确定道路走向。此外,一些数据源可能产生受噪声污染的或部分错误的环境测量数据,从而对道路走向的估计可能不准确。因此,需要提供一种用于估计道路走向的计算机实现的方法,该方法确保高度可用地且精确地确定道路走向。根据独立权利要求所述的计算机实现的方法、装置、计算机程序以及车辆满足了所述需求。本发明的实施例提供用于估计在车辆环境中的道路走向的计算机实现的方法、车辆、计算机程序和装置。借助多个数据源的环境测量数据与描述道路走向的状态函数(道路模型)的数据融合,能够确保估计的高度可用性和高精确度。

在此,各个数据源的环境测量数据是道路走向测量的输出参量并且包括至少一个多项式函数。所述状态函数包括回旋样条。在此,环境数据与状态函数的数据融合意味着,通过实时滤波器根据环境测量数据调整状态函数或回旋样条。对于道路走向的估计,例如卡尔曼滤波器被证实为是有利的实时滤波器。

用卡尔曼滤波器来调整状态函数通常需要将状态函数从状态空间变换到测量空间。在本发明的实施例中可以涉及状态函数在不同坐标系之间的变换。在测量空间中,可以利用多个数据源或传感器的环境测量数据来校正由卡尔曼滤波器的预测得出的状态函数。结合卡尔曼滤波器,这通常被称为新息(Innovation)。通过调整或新息而更新的状态函数对应于道路走向的近似估计。通过在时间上重复地根据环境测量数据调整状态函数,不断地更新估计,从而例如能够精确地并且可靠地估计公路的道路走向。根据多个数据源的环境测量数据调整状态函数确保了在估计道路走向时的高度可用性和高精确度。本发明的第一方面涉及一种基于描述道路走向的状态函数来估计在车辆环境中的道路走向的计算机实现的方法。状态函数在此包括回旋样条。

此外,所述计算机实现的方法包括提供环境测量数据,所述环境测量数据描述在车辆当前位置的特定环境中的道路走向。环境测量数据在此包括至少一个多项式函数。所述多项式函数例如可以从多段线出发借助曲线回归方法生成。这样的多段线在此表示一系列连续的线段。所述计算机实现的方法还包括将状态函数和环境测量数据变换到一个共同的坐标系中并且在该共同的坐标系中基于环境测量数据来调整状态函数。

例如,所述计算机实现的方法基于递归方法、诸如卡尔曼滤波器,其可以具有相继的递归步骤。在此,每个递归步骤可以用于估计道路走向,该道路走向将通过状态函数来描述。因为在交通建设中在计算道路走向时经常使用回旋曲线,因此能再次精确地通过相继的回旋段估计或近似重建道路走向。因此,可以有利的是,在估计道路走向时为状态函数采用回旋样条。在此,回旋样条可以完全通过如曲率、曲率变化、角度和y轴截距的参数来确定。

用于估计道路走向的输入参量是环境测量数据。环境测量数据可以以多项式函数或多项式样条的形式存在,它们可以由车辆外部的和/或车辆内部的传感器的测量数据得出。环境测量数据例如近似地映射在车辆环境中观察到的道路走向。

然后可以将环境测量数据与状态函数进行比较。为此有利的是,状态函数和环境测量数据存在于一个共同的测量空间中。通常为此合适的是,将状态函数变换到另一坐标系中。例如,回旋样条可以在具有曲率值和弧长的坐标系中表示,而环境测量数据存在于具有位置坐标的坐标系中。出于这个原因,例如将测量模型应用于状态函数,以便在具有位置坐标的坐标系中至少近似地表示状态函数。回旋样条(通常表示为弧长的函数)例如可以通过一个或多个三阶多项式或以位置坐标中的参数表示近似地表示。接着可以在卡尔曼滤波器中用环境测量数据更新在预测时获得的状态函数。

作为递归步骤的输出参量,通常得到经更新的状态函数。对于用于确定道路走向的高度可用且精确的计算机实现的方法,在此可以有利的是,对于递归步骤的数据融合考虑多个可能不同类型的数据源或传感器的环境数据。这种数据融合被称为多传感器数据融合。

在每个递归步骤中可以附加地检查在所基于的环境数据中是否存在错误。例如在由于建筑工地改变了车道标线的情况下可能存在这种错误。在这种情况下,地图和摄像机的环境数据是不同的。此外,车道标线的质量也可能是差的,或者摄像机实施错误测量。

所述检查可以这样进行,即,确定在卡尔曼滤波器的预测步骤中所确定的状态函数值与当前环境数据之间的偏差并且将所述偏差与预先给定的阈值进行比较。如果所确定的偏差大于预先给定的(上)阈值或者小于预先给定的(下)阈值,则存在错误。

随后可以存储所述错误,并且不再继续将当前环境数据用于更新状态函数。所述存储也可以包括对与所述错误相对应的错误车道标线进行标记。

此外,可以接着将错误和对应的数据(如所标记的错误车道标线)发送给设置在车辆外部的接收单元。根据错误能够简单地使用所传输的数据,例如用于道路行政机关以改进在公路上的错误车道标线,和/或用于车辆制造商以改进摄像机/LIDAR(激光雷达)车道标线识别功能,尤其是用于手工标记以改进学习算法。此外,所传输的数据可以用于判断是否应在所述错误车道标志处停用自主行驶运行。因此,这些数据可以用于提高自主行驶功能的可靠性和安全性。此外,可以检查所发送的数据,以便识别错误是由于摄像机的错误数据还是由于数字地图的错误数据而产生。

所述发送例如可以自动地在识别错误之后进行。替代地或附加地,所述发送可以集中地、例如总是夜间或者总是在停放车辆之后等进行。此外也可以给其它车辆发送。

在一些实施例中,环境测量数据可以由至少一个摄像机检测。例如,一个摄像机可以作为多个传感器之一用于多传感器数据融合或者多个摄像机可以用于多传感器数据融合。在此,可以考虑由所述至少一个摄像机所拍摄的道路照片,以便借助合适的图像处理应用来探测道路走向。由所述照片例如可以确定道路标线或者道路边界的走向并且通过至少一个多项式函数近似地表示。所述至少一个多项式函数对应于环境测量数据。为了更精确的估计,道路走向也可以通过多个连续的多项式函数来逼近或者说近似。

借助多个摄像机检测道路走向同样可以有助于更精确地估计道路走向。

附加地或替代地,可以由地图提供环境测量数据。地图例如作为具有特定位置分辨率的数字地图存在。高分辨率地图(HD地图,即高清地图)例如具有10至25cm的位置分辨率,这意味着其尺寸至少在一个维度上对应于相应位置分辨率的结构或物体可用位置分辨率的精度来表示。例如,因此可以探测道路、道路边界或道路标线。可以从地图中获取表征道路走向的航点。借助对航点的内插可以确定一个多项式或者如通常那样确定包括多个多项式的一个多项式样条,所述多个多项式借助地图的航点近似地确定道路走向。所述多项式或多项式样条被称为地图数据。在本发明的一些实施方式中,可以由至少一个摄像机检测第一环境测量数据并且由地图提供第二环境测量数据。借助由摄像机检测到的或从地图确定的环境测量数据可以分别确定多项式或多项式样条,所述多项式或多项式样条分别近似描述在车辆环境中的道路走向。在此可以根据第一环境测量数据并且附加地根据第二环境测量数据来调整状态函数。通过根据多个不同类型的传感器或数据源(摄像机和地图)的环境测量数据来调整状态函数,能够在确定道路走向时得到高度可用性和提高的精确度。高度可用性在此意味着,即使在一个数据源失效的情况下也能够继续可靠地估计道路走向,从而在这种情况下车辆例如仍然能够被驾驶到安全的停车位置或车间。

在另外的实施例中,所述计算机实现的方法可以包括将状态函数和环境数据变换到一个具有位置坐标的共同的坐标系中。卡尔曼滤波器的新息通常需要将状态函数变换到测量空间中,以便用环境测量数据来更新状态函数。典型地,摄像机的环境测量数据已经存在于具有位置坐标的坐标系中。因此,状态函数的变换指的是借助测量模型的转换,从而可以在测量空间、即具有位置坐标的坐标系中表示状态函数。在此,例如通过一个或多个三阶多项式或者在参数表示中通过菲涅尔积分来描述回旋样条。为了降低在数据融合时的数值复杂性,菲涅尔积分可以分别通过泰勒级数近似计算。在具有位置坐标的坐标系中进行数据融合的优点是,可以确定车辆在道路上的定向和绝对位置。因此,例如可以确定车辆位于多车道道路的哪个车道上和/或车辆是沿着道路运动还是横向于道路运动。

本发明的另外的实施例还包括用于确定用于调整状态函数的采样点的采样方法。在相应存在多个采样点的情况下可以有利的是,在相邻采样点之间存在恒定的曲线长度。所述采样点例如可以通过合适的数学方法来确定。恒定的曲线长度可以用作数学方法的输入参量并且例如可以预先给定或者根据道路走向的特征、例如道路曲率来确定。

对于通过卡尔曼滤波器进行调整而言可以有利的是,状态函数和/或环境测量数据存在于测量空间的点空间中。这意味着,例如为了有利于调整,不仅状态函数而且环境测量数据都分别通过多个采样点来表示。借助这些采样点,卡尔曼滤波器可以根据环境测量数据来调整状态函数。典型地,采样点存在于具有位置坐标的坐标系中。

可选地,可以仅针对状态函数确定采样点。然后,例如通过与环境测量数据的多项式具有相同阶数的多项式对所述采样点进行内插。然后可以这样设计卡尔曼滤波器,使得在每个递归步骤中经变换的状态函数的多项式参数逼近环境测量数据的其它多项式参数。通过测量模型可以从多项式参数确定状态函数的参数,使得具有这些参数的状态函数近似地对应于环境测量数据。

在状态函数和环境测量数据的多个采样点的情况下,可以根据采样方法这样选择采样点,使得有利于根据环境测量数据调整状态函数。在此,这样选择待比较的采样点,使得这些采样点处于状态函数或环境测量数据的相同弧长处。此外,在相应多个采样点的情况下可以这样选择这些采样点,使得在一条曲线(状态函数、环境测量数据)的相邻采样点之间分别存在该曲线的恒定弧长。

由此,能够根据摄像机的环境测量数据精确地调整具有大曲率的状态函数。因此,在一些实施例中,能够确保可靠地估计可能高度弯曲的道路走向。

在另外的实施例中,所述计算机实现的方法可以包括将状态函数和环境数据变换到一个具有曲率值的共同的坐标系中。测量空间在此包括二维坐标系,该二维坐标系通过曲率值和弧长来确定。回旋样条通常位于所述测量空间中。地图数据典型地作为多项式样条存在于具有位置坐标的坐标系中,所述多项式样条可以从对航点的内插得出。多项式样条可以这样变换,使得可以根据多项式样条的弧长来确定多项式样条的曲率值。由此可以在包括具有曲率值和弧长的坐标系的测量空间中表示状态函数和多项式样条。因此,对于卡尔曼滤波器,状态函数的曲率值可与多项式样条的曲率值进行比较。

在本发明的一些实施方式中,根据环境测量数据对状态函数的调整可以规定:根据环境测量数据的至少一个另外的曲率值对状态函数的至少一个曲率值的调整。在卡尔曼滤波器的新息中,例如可以考虑将状态函数和多项式样条的曲率值作为输入参量。地图数据与卡尔曼滤波器的数据融合在此意味着,根据经变换的地图数据的曲率值调整状态函数的一个点或多个点的曲率值。

在这里所描述的计算机实现的方法在此尤其是可以设计用于确定普通公路或道路的道路走向。通常,尤其是在高速公路、类似高速公路的公路上和在城市区域中的道路设有道路标线,以便例如使车辆驾驶员能够识别出道路走向。道路标线例如可以被考虑用于估计道路走向。

根据另外的实施例,状态函数可以表征道路的道路标线的走向。为此可以由所述至少一个摄像机拍摄道路标线。借助所述至少一个摄像机对道路走向的检测通常通过图像处理应用来实现,该图像处理应用可以从所述至少一个摄像机的照片中确定道路标线或道路边界的走向。由此,所述至少一个摄像机的环境测量数据可以表征道路标线或道路边界的走向。这种估计在控制车辆时可以有利于例如确定道路宽度或车辆与道路边界的距离。

在另外的实施例中可以有利的是,通过变换状态函数来确定车道中心的走向。在一些情况下,为了控制车辆需要车道中心的走向。所述至少一个摄像机的环境测量数据例如描述道路边界或位于道路侧边的道路标线的走向。因此,在这些环境测量数据的数据融合时可以估计道路标线或道路边界的走向。

在已知道路宽度的情况下,可以借助所述估计确定描述车道中心走向的状态函数。通过变换和改变曲率值,可以从道路标线和道路边界的走向推断出描述车道中心走向的状态函数。

可选地,在另外的实施例中,所述计算机实现的方法还可以包括提供验证测量数据并且借助验证数据验证对道路走向的估计。其它传感器(例如激光雷达传感器、雷达传感器和/或超声传感器)可以提供验证测量数据,所述验证测量数据例如借助位置坐标来表征道路的边缘建筑物的位置和/或走向。边缘建筑物例如可以是护栏、噪音防护壁或导向柱。

因此,所述验证测量数据表征对于车辆可通行的区域。在验证对道路走向的估计时,可以确定状态函数是否处于可通行的区域内,并且由此得出关于所估计的道路走向是否可能切合实际的结论。该验证提高了所述计算机实现的方法在估计道路走向时针对错误的鲁棒性。例如,在控制车辆时可以不考虑有错误的估计,即不考虑不在可通行的区域内的状态函数。本发明的第二方面涉及一种用于估计在车辆环境中的道路走向的装置。该装置包括用于获取环境测量数据的一个或多个接口。此外,该装置包括处理单元,该处理单元被构造用于实施用于估计在车辆环境中的道路走向的计算机实现的方法。

在此,环境测量数据例如可以是地图数据或摄像机的环境测量数据。与此对应地,所述装置的一个接口例如是与存储介质的连接部,在所述存储介质上存储有地图数据并且可以从所述存储介质那里调用或传输所述地图数据。其它接口可以是与提供环境测量数据的一个或多个摄像机的连接部。

所述处理单元例如可以是计算机、微控制器、处理器或可编程硬件组件,其被配置用于实施计算机实现的方法。由接口获取的环境测量数据在此从接口传输给处理单元,从而环境测量数据用作用于估计道路走向的输入参量。

第三方面涉及一种车辆,该车辆具有用于估计在车辆环境中的道路走向的装置。车辆可以是任何地面车辆,尤其是轿车、货车、摩托车或农业机械。

附图说明

下面参考附图详细阐述各实施例。在附图中:

图1示出多车道公路的示意图,在该多车道公路上存在车辆。

图2示出具有n个回旋段的回旋样条的一个示例。

图3示出用于估计在车辆环境中的道路走向的计算机实现的方法的示意性流程图。

图4示出多传感器数据融合的流程图。

图5示出回旋样条和环境测量数据的采样方法的示意图。

图6示出用于逼近回旋样条的两种逼近方法的图形比较。

图7示出两种采样方法的图形比较。

图8示出通过道路标线标记的道路的示意图。

图9示出地图数据和位于道路上的车辆的视图。

图10示出具有用于估计道路走向的装置的车辆的示意图。

具体实施方式

现在将参考附图详细地描述各种实施例,在附图中示出一些实施例。在附图中,为了清晰起见,线、层和/或区域的厚度尺寸可以夸大地示出。

在自主行驶设计领域中,对于控制例如自主行驶的车辆来说,估计周围环境和道路走向可能是非常重要的。因此,例如可以这样操控车辆,使得车辆自主地在没有驾驶员参与的情况下这样调节转向、加速度、速度和其它车辆参数或行驶参数,使得车辆例如安全地跟随所估计的道路走向和/或能够避开障碍物。

在图1中示例性地示出道路14的示意性道路走向,车辆11位于该道路上和/或在该道路上运动。在这里所描述的本发明的实施例可以设计用于在两个平移方向上、即在两个维度上估计道路走向。图1在两个维度中以俯视图示出道路。车辆11在此位于道路14的三个车道中的中间车道上,所述车道例如允许沿一个或两个方向的行驶。在这里所描述的本发明的有利实施例中,例如可以估计道路14或车道的走向。在进一步的意义中,在本公开中,道路走向不仅可以指道路的走向而且可以指车道的走向。

车道的车道中心和/或车道中心走向可以通过中心线12来表征。然而,公路通常没有中心线12,因此车道中心不是“可见的”。各个车道典型地分别通过道路标线、如边界线13来限定。

现有技术中的常用方法例如借助基于多项式或多项式样条的道路模型来确定道路走向,所述多项式或多项式样条例如可以直接由摄像机的照片或由数字地图得出。

然而,在建筑设计时,道路14典型地基于行驶舒适性和出于安全性原因根据具有连续回旋段的样条(回旋样条)来构建。道路14的这种构建的优点在于道路曲率的线性变化,从而能够以高的行驶舒适性驶过弯道并且能够为非自主行驶的车辆的驾驶员很好地估计弯道。根据基于回旋样条的结构方式可以被证实为有利的是,在估计道路走向时采用基于回旋样条的道路模型。例如,因此能够提高估计的准确性和可靠性。

在图2中示例性地示出道路14的基于回旋样条20的道路模型。回旋样条20包括回旋段21和在两个回旋段21之间的过渡点22。各回旋段21对应于回旋函数的一部分。

回旋函数或回旋函数的曲率值c(s)可以按照以下表达式根据弧长s来表示:

c(s)=c

在此,c

在图2所示的回旋样条20中,可以附加地给出回旋段21的定向θ

图2所示的回旋样条20满足在各回旋段21之间的连接条件,所述连接条件可以减少为了描述回旋样条20所需的参数的数量,从而减少用于确定回旋样条20的计算耗费。回旋样条20例如在过渡点22处是连续的、可微分的,并且两个相继的回旋段21的曲率值在过渡点22处是相等的。在所提及的连接条件下,为了描述回旋样条20所需的参数的数量能够减少到n+3。因此,回旋样条20可以通过减少的参数组(c来完整表征。

回旋样条20可以很近似地映射例如在车辆11前方和后方的道路14的道路走向。为了确定回旋样条20,考虑多个可能不同类型的数据源或传感器的环境测量数据。尤其是在使用不同类型的传感器时,可能需要这样确定回旋样条20,使得将不同类型的传感器的环境测量数据一起纳入对回旋样条20的确定中。例如可以通过图3所示的用于估计道路走向的计算机实现的方法30的实施例来满足该需求。

用于估计在车辆环境中的道路走向的计算机实现的方法30基于对描述道路走向的状态函数的确定。状态函数在此包括回旋样条20。

所述计算机实现的方法30包括提供31环境测量数据,所述环境测量数据描述在车辆11的当前位置处的道路走向。环境测量数据在此包括至少一个多项式函数。该计算机实现的方法30还包括将状态函数和环境测量数据变换32到共同的坐标系中并且在所述共同的坐标系中基于环境测量数据来调整33状态函数。

车辆自身的传感器装置(如一个摄像机或多个摄像机)的环境测量数据可以如在一种实施例中那样借助多项式函数或多项式样条来描述道路的边界线13的走向或车道中心12的走向。

此外,地图制造商的HD地图可被考虑用于估计道路走向。基于能从HD地图获得的道路航点可以确定环境测量数据。所述航点例如可以表征车道中心。由此产生的地图数据通常借助另一个多项式样条来描述道路走向。

实时滤波器、如卡尔曼滤波器例如能够实现,如果状态函数和环境测量数据位于共同的坐标系中,则利用环境测量数据更新状态函数或回旋样条20。例如,状态函数如在表达式(1)中那样存在于包括曲率值的状态空间中。环境测量数据例如存在于具有位置坐标的测量空间中。状态函数可以通过变换32例如被映射在共同的坐标系中,该坐标系可以包括曲率值或位置坐标。

在共同的坐标系中,卡尔曼滤波器例如可以使用环境测量数据,以便根据环境测量数据调整33回旋样条20。

例如,计算机实现的方法30可以描述递归方法的单个递归步骤。递归方法例如包括多个相继的递归步骤,它们分别用于估计道路走向。递归方法例如可以通过卡尔曼滤波器或者通过其它实时滤波器实现。在一些实施例中,卡尔曼滤波器被证实是有利的。

各个递归步骤的输入参量是来自在先递归步骤之一的状态函数和环境测量数据,所述环境测量数据可以通过借助所述至少一个摄像机和HD地图提供31环境测量数据来检测。

检测和变换32在先递归步骤的状态函数表征卡尔曼滤波器的第一阶段。该阶段被称为预测。

在卡尔曼滤波器的预测期间,可以确定对于回旋样条20的当前状态的估计。为此可以将回旋样条置于状态动态下。所述状态动态例如通过车辆11的运动来确定。例如,如果车辆11沿着道路14运动,则回旋样条20可以在车辆11的前方延长,而在车辆11的后方缩短。

因为回旋样条20通常由各个段21组成,所以回旋样条20例如可以不是在每个递归步骤中连续延长或缩短,而是仅针对车辆11驶过其中一个过渡点22的情况下延长或缩短。

在每个递归步骤中可以附加地检查33a在所基于的环境数据中是否存在错误。所述检查可以这样进行,即,确定在卡尔曼滤波器的预测步骤中所确定的状态函数值与当前环境数据之间的偏差并且将所述偏差与预先给定的阈值进行比较。如果所确定的偏差大于预先给定的(上)阈值或者小于预先给定的(下)阈值,则存在错误。该错误接着可以被存储33b并且不被继续用于状态函数,即不在被称为新息的阶段中被使用。所述存储也可以包括对与所述错误相对应的错误车道标线进行标记。此外,可以接着将错误和对应的数据(如所标记的错误车道标线)发送给设置在车辆外部的接收单元。根据错误能够简单地利用所传输的数据,例如用于道路行政机关以改进在公路上的错误车道标线和/或用于车辆制造商以改进摄像机/LIDAR(激光雷达)车道标线识别功能,尤其是用于手工标记以改进学习算法。此外,所传输的数据可以用于判断是否应在所述错误车道标志处停用自主行驶运行。因此,这些数据可以用于提高自主行驶功能的可靠性和安全性。此外,可以检查所发送的数据,以便识别错误是由于摄像机的错误数据还是由于数字地图的错误数据而产生。

如果不存在错误,则进行下面描述的过程。

在每个递归步骤中通过根据环境测量数据的调整33来更新在先递归步骤的状态函数。调整33对应于卡尔曼滤波器的被称为新息的第二阶段。为了调整33,例如将状态函数与环境测量数据进行比较。例如,为此将状态函数的各个值与环境测量数据的其它值进行比较。这些值可以根据测量空间例如是状态函数和环境测量数据的位置坐标或曲率值。通常,状态函数的值具有不精确性,或者环境测量数据的值具有测量不确定性,它们可以分别通过概率分布、例如高斯分布来表示。在卡尔曼滤波器的第二阶段中,可以利用状态函数和环境测量数据作为输入参量进行状态函数的调整33。输入参量在调整33状态函数时的权重在此可以与测量不确定性或不精确性有关。环境测量数据的测量不确定性越小,则在预测时所确定的状态函数例如可以越接近环境测量数据。环境测量数据14的测量不确定性越大,则环境测量数据在调整33时的权重可以越小。作为输入参量存在的状态函数的不精确性例如基于回旋样条20的参数的平均值和数值分散数据(例如协方差)。平均值和协方差可以由在先递归步骤的参数确定。状态函数的不精确性例如可以通过协方差来确定。在协方差高的情况下,可以为在预测时所检测的状态函数赋予低的权重。

而在协方差小的情况下,则赋予状态函数高的权重。因此,根据不精确性和测量不确定性,从环境测量数据和用作输入变量的状态函数中得出经更新的状态函数或回旋样条20。在接着的递归步骤中,将最后更新的状态函数再次用于预测。

一些传感器(地图制造商的传感器装置和车辆自身的传感器装置)的环境数据不能精确地确定道路走向。传感器装置的环境测量数据例如可能部分被噪声污染或者有错误。而多个不同类型的传感器(数据源)的环境数据的数据融合能够确保鲁棒地、高度可用地并且少有错误地估计道路走向。在图3中示出多传感器数据融合的这种构想。

在多传感器数据融合中,多个传感器的数据、尤其是环境测量数据可以被融合成道路模型。在图4所示的实施例中,环境测量数据可以借助摄像机41和HD地图43来提供。

摄像机41例如可以固定在车辆上并且沿行驶方向定向。如已经提到的那样,可以从摄像机41的照片借助图像处理应用以一个或多个相继的多项式函数的形式近似地表示道路标线、道路边界以及其走向。典型地,摄像机41的有效范围或测量半径受限于障碍物或摄像机41的光学有效范围。

HD地图43典型地基于地图制造商的传感器装置42的输出参量。通过对能从HD地图获得的航点进行内插可以确定一个或多个连续的多项式函数,以便近似地描述道路走向。HD地图43或对应的地图数据例如可以存在于安装在车辆11上的存储介质上。

替代地或附加地,HD地图43或地图数据可以从发射器被传输给车辆11的接收模块或用于估计道路走向的装置。

通过在卡尔曼滤波器的第二阶段中调整33状态函数,例如根据多传感器数据融合40,将HD地图43和摄像机41的环境测量数据纳入到道路走向或道路模型45的估计中,其可通过状态函数或回旋样条20来表示。尽管在此描述的实施例规定使用一个单个摄像机,但是其它实施例可以包括多个摄像机41,所述多个摄像机必要时可以沿不同的方向定向。

利用卡尔曼滤波器,例如可以尤其是根据摄像机41的环境数据调整回旋样条20。下面应借助图5所示的曲线20和50更详细地探讨摄像机41的环境测量数据的数据融合44。

为了在卡尔曼滤波器的第二阶段中调整33状态函数20,将状态函数20、也就是回旋样条20和环境测量数据50变换到一个点空间中。这意味着,不仅环境测量数据50而且回旋样条20可以分别通过点空间的多个点来描述。这些点可以通过采样方法从回旋样条20和环境测量数据50确定。因此,这些点也被称为采样点51和52。

借助对于回旋样条20常见的表达式(1)不能确定采样点51或采样点51的位置坐标。因此需要变换32回旋样条20。为了变换32回旋样条20,可以确定测量模型,借助该测量模型可以将回旋样条20变换到环境测量数据50的测量空间中,从而回旋样条20可以通过位置坐标来表示。

在此存在用于变换32回旋样条20的多个测量模型,以便通过位置坐标而不是如在(1)中那样通过弧长和曲率值来表示回旋样条。下面应示例性地借助图6所示的图示60-1和60-2讨论两个测量模型,这两个测量模型可以被用于变换32回旋样条20。

用于变换32回旋样条20的第一测量模型通过由三阶多项式62逼近回旋段21来规定回旋样条20的近似表示。该表示在图示60-1中示出。三阶多项式62在此可以表示如下:

y(x)=ax

a、b、c和d对应于确定多项式62的形式的参数。对于回旋段21的近似表示,参数a、b、c和d可以通过回旋段21的参数c

a=c

通过代入根据(3)的参数,例如获得近似地映射回旋曲线或例如回旋段21的走向的多项式62。

因此,采样点61近似地对应于采样点51。由此,通过利用(2)和(3)近似地表示回旋段21,可以给每个采样点61配设位置坐标。通过在此描述的第一测量模型可以在点空间中在卡尔曼滤波器中表示回旋样条20。使用点空间的采样点61和采样点52作为输入参量,卡尔曼滤波器可以使多项式62逼近环境测量数据50。在此可以确定回旋样条20的参数c

回旋段21可以在曲率小的情况下很好地通过所描述的根据(2)和(3)的测量模型近似表示。在曲率大的情况下,根据(2)和(3)近似表示回旋样条20的精确度可能不足以确保根据环境测量数据50调整33回旋样条20的高精确度。

为了在曲率大的情况下的更优近似,可以代替第一测量模型将第二测量模型应用于回旋样条20。例如,回旋段21可以通过回旋函数的参数表示来表示。

这在图示60-2中示出。在例如回旋段21的参数表示中,以向量表示来表示每个采样点63。这样的采样点63的向量例如包括两个分量,所述分量可以通过菲涅尔积分来表达。为了减少菲涅尔积分的数值计算耗费,可以取代菲涅尔积分而例如使用菲涅尔积分的五阶泰勒展开。从回旋段21的该近似中例如可以得到函数64,该函数64基于五阶泰勒展开对应于泰勒多项式64。如在图6中可以看出,该多项式64相对精确地描述回旋段21的走向。借助第二测量模型确定的采样点63即使在曲率大的情况下也很好地近似描述回旋段21和/或回旋样条20。通过第二测量模型产生的采样点63可以尤其是在曲率大的情况下比通过第一测量模型产生的采样点61更好地近似表示回旋样条20。因此,相比于利用第一测量模型,借助第二测量模型通常能够以更高的精确度来确定道路走向。总的来说,两个测量模型都可以被用于估计道路走向。

可以使用不同的采样方法来确定相应的测量模型的采样点61和63以及环境测量数据50的采样点52。在图7中示出采样方法的两种可能性。在第一种常见的采样方法中(在图7的左侧),可以这样选择采样点61、63和52,使得采样点在x方向上的距离是恒定的。已被证明的是,在借助卡尔曼滤波器调整33回旋函数20或多项式62和64时,该采样方法对于高度弯曲的道路走向而言不是最佳的。在该采样方法中,由于基于几何给定条件的系统误差,在道路走向高度弯曲时采样点61或63与采样点52之间的距离可能相对大,尽管多项式62或64近似对应于环境测量数据50。接着卡尔曼滤波器在新息时将会“过多”地移动回旋样条20。例如,在图7左图所示的示例中,回旋样条20将被过于向下移动,因为采样点61或63与采样点52的距离d相对大。

这种系统误差可以通过在其它实施例的意义上选择第二种采样方法(在图7的右侧)来减少。在图7右图所示的采样方法中,这样选择采样点61、63和52,使得在相应的多项式62、64或环境测量数据50的相邻采样点61、63和52之间存在恒定的弧长Δs。通过这种方式,即使在道路走向强烈弯曲时也存在这样的采样点61、63和52,使得采样点61或63与采样点52之间的距离d由此例如比在图7左图中更小。对应地,回旋样条20通过卡尔曼滤波器例如被较不强烈地向下移动。与使用第一种采样方法的调整33相比,在使用第二种采样方法的情况下利用卡尔曼滤波器调整33回旋样条20能够获得更高的精确度。第二种采样方法还稳定地影响卡尔曼滤波器的功能,并且因此在控制车辆时也稳定地影响侧向引导特性,因为在调整33时使用第二种采样方法稍微校正回旋样条20。由此能够实现在各个递归步骤中不太“强烈”地调整状态函数,并且由此被称为“更稳定”。

在一些实施例中,摄像机41可以检测道路标线12或13的走向,并且图像处理应用可以被设计用于检测这样的道路标线12或13并且通过多项式或多项式样条近似地描述它们。道路标线13在此表征道路的道路边界。道路标线12表征道路的中心线,该中心线在一些情况下是不可见的。在图8中示出由道路标线12和13表征的道路的示意图。借助道路标线12和/或13的走向,例如可以借助合适的图像处理应用从摄像机41的照片确定道路宽度或车道宽度。在一些情况下,道路走向的估计可以对应于道路标线13的走向。这对于车辆的控制可以是有利的。由向右和向左限定车道的两条道路标线13的走向例如可确定车道宽度或从中推导出中心线12的走向。

在控制车辆时可能需要确定车道中心的走向。在缺少中心线12的情况下,不能通过摄像机的环境测量数据50的数据融合44直接确定车道中心的走向。在这种情况下,可以借助数据融合44确定道路标线或道路边界13的走向,并且由此出发在考虑车道宽度的情况下推导出车道中心或中心线12的走向。待确定道路的车道宽度要么可以从存在于车辆中的数据组中获取,要么可以借助道路标线13的走向来确定。为了确定中心线12的走向,可以对例如描述道路中心走向的回旋样条20进行变换,使得经变换的回旋样条描述道路标线13之一的走向,以便能够实现根据摄像机的环境测量数据调整33回旋样条20。在调整33回旋样条20之后,可以通过逆变换确定再次表征车道中心走向的回旋样条。由于几何原因,以平移方式、即在x和y方向上移动回旋样条20对于变换和逆变换而言可能是不够的。

为此,例如还可能需要借助数学方法来调整参数c

替代地,为了调整33回旋样条20,可以在考虑车道宽度的情况下这样变换摄像机的环境测量数据,使得所述摄像机的环境测量数据近似表征道路中心的走向。卡尔曼滤波器接着可以根据经变换的测量数据调整33回旋样条20。对于在图4中示意性地示出的多传感器数据融合,通常考虑来自另一个与摄像机不同的数据源的环境测量数据。在图4所示的实施例中,为此使用HD地图43的地图数据。在图9中示出这种地图数据的一个示例。地图制造商的传感器装置42提供航点91,这些航点位于车辆11的道路上。在考虑到其它连接条件的情况下可以通过内插来连接所述航点。在内插时,航点例如可以通过多项式92连接。因此,可以由多个多项式函数92产生一个多项式样条90。该多项式样条90例如可以对应于地图数据。

在这里所描述的本发明的一些实施例中,多项式样条90可以表示为以位置坐标的函数。在数据融合44时可以通过卡尔曼滤波器根据多项式样条90调整的回旋样条20在此通常也作为参数y

相对于摄像机41的环境测量数据50,在摄像机41能够检测道路之前早就已经能够获得地图数据。这样,例如可以根据高度弯曲的和/或不可见的弯道估计道路14的道路走向。因此,例如可以使用地图数据很好地近似确定在车辆11前方很远处的道路走向。

借助地图数据有时不能确定或不能精确地确定车辆的定向。车辆11相对于道路14的定向通常不能由车辆11的位置数据和多项式样条90来确定,因为不能从中得到关于车辆11定向的提示。因此,通常在卡尔曼滤波器中不考虑地图数据的位置坐标来根据地图数据调整回旋样条20。在此,可以应用另一个测量模型,在该另一个测量模型中在测量空间中表示地图数据,所述测量空间包括具有曲率值的坐标系。

对于在具有带曲率值的坐标系的测量空间中的上述数据融合44,例如有利地根据(1)表示回旋样条20。因此,回旋样条20的状态空间已经可以对应于测量空间。

由HD地图43所提供的多项式样条90通常作为在具有位置坐标的坐标系中的映射存在。因此,在此处公开的本发明的有利实施方式中,可能需要将地图数据变换32到具有带曲率值的坐标系的测量空间中。地图数据的合适的映射例如可以是地图数据的弧长s的函数,其中,根据弧长s得出地图数据的曲率值k。

为了根据多项式样条90调整33回旋样条20,例如在卡尔曼滤波器的新息中使回旋样条20的曲率值逼近多项式样条90的曲率值k。例如,为此考虑在地图数据的航点处的曲率值k。该调整33可以通过调整参数y

所描述的借助曲率值k的数据融合44的优点是,该数据融合44相对于角度误差和偏移误差具有鲁棒性。假设定位确定了车辆11实际所在的车道,则例如可以借助曲率值k准确地估计道路走向,即使车辆11不是准确地位于车道中心或者不是平行于中心线12定向。

在此处公开的本发明的有利实施方式中,计算机实现的方法可以包括多传感器数据融合40。在此能够从环境测量数据50和地图数据的多传感器数据融合40中得到优点。

在环境测量数据的数据融合44中,例如可以确定车辆11相对于道路14的位置和定向。因此,在控制车辆11时,例如能够防止车辆11偏离道路14。

借助地图数据的数据融合44可以提前很多地确定道路走向,从而对车辆11的控制例如可以足够早地降低车辆速度,以便安全地驶过不可见的高度弯曲的弯道。

此外,数据融合44在估计道路走向时提供相对于角度误差和偏移误差的鲁棒性,由此能够减小估计的测量误差。计算机实现的方法30可被用于控制任何地面车辆11。在图10中示出这种车辆11的一个示例。车辆11在此可以配备有用于估计道路走向的装置100。在此,装置100包括处理单元(在此未示出)和多个用于获取环境测量数据的接口。这种接口例如可以是处理单元与一个或多个摄像机41的连接部。摄像机41例如可以沿行驶方向、逆着行驶方向或朝向侧面定向并且能够提供31环境测量数据50。其它接口可以将处理单元与诸如硬盘驱动器或光存储器的存储介质103连接并且附加地或备选地与接收单元102连接。可以通过如下方式实现提供31地图数据90,即,地图数据90可以位于存储介质103上或者由接收单元102接收并且提供给处理单元。地图数据例如可以由发射器110传输给接收单元。利用环境测量数据50和地图数据,装置100可以通过实施计算机实现的方法10来确定对道路走向的估计。

处理单元为此被设计用于实施回旋样条20和环境测量数据50和/或地图数据的变换32。此外,处理单元被配置用于根据环境测量数据调整33回旋样条20。处理单元例如可以是处理器、微控制器、现场可编程门阵列(FPGA)、计算机或可编程硬件组件。

结合一个或多个前面详述的示例和附图描述的方面和特征也可以与一个或多个其它示例中的组合,以代替所述其它示例的相同特征,或者附加地将特征引入到所述其它示例中。

示例还可以是或可以涉及具有程序代码的计算机程序,所述程序代码用于,当在计算机或处理器上执行该计算机程序时,执行上述方法中的一个或多个。上述各种方法的步骤、操作或过程可以通过编程的计算机或处理器执行。示例还可以覆盖程序存储装置、例如数字数据存储介质,其是机器可读的、处理器可读的或计算机可读的,并且对机器可执行的、处理器可执行的或计算机可执行的程序进行指令编码。所述指令执行上述方法的一些或全部步骤或引起其执行。程序存储装置例如可以包括或可以是数字存储器、磁性存储介质(例如磁盘和磁带)、硬盘驱动器或光学可读数字数据存储介质。其它示例还可以覆盖被编程用于执行上述方法的步骤的计算机、处理器或控制单元,或者被编程用于执行上述方法的步骤的(现场)可编程的逻辑阵列((F)PLA)或(现场)可编程的门阵列((F)PGA)。

通过说明书和附图仅示出本公开的原理。此外,在此列举的所有示例应该原则上明确仅用于说明目的,以帮助读者理解本公开的原理和由发明人为进一步改进技术而贡献的构想。所有在此关于本公开的原理、方面和示例以及其具体示例的陈述包括其等效方案。

被称为“用于执行特定功能的模块”的功能块可以涉及构造用于实施特定功能的电路。因此,“用于某事的模块”可以被实现为“构造用于或适合于某事的模块”,例如构造用于或适合于相应任务的结构元件或电路。附图中所示的各种元件(包括被称为“模块”、“用于提供信号的模块”、“用于生成信号的模块”等的任何功能块)的功能可以以专用硬件的形式、例如“信号提供者”、“信号处理单元”、“处理器”、“控制装置”等实现以及被实现为能够结合相关软件执行软件的硬件。当由处理器提供时,所述功能可以由单个专用处理器、由单个共享处理器、或者由多个单独的处理器提供,所述多个单独的处理器中的一些或全部处理器可以共享。

然而,术语“处理器”或“控制装置”绝不仅限于能够仅执行软件的硬件,而可以包括数字信号处理器硬件(DSP硬件)、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置(storage)。还可以包括常规的和/或客户定制的其它硬件。

框图例如可以表示实现本公开原理的粗略电路图。类似地,流程图、过程图、状态过渡图、伪代码等可以代表各种不同的过程、操作或步骤,它们例如基本上可以在计算机可读介质中表示并且因此由计算机或处理器执行,无论这样的计算机或处理器是否明确地示出。在说明书中或者在权利要求中公开的方法可以通过具有用于执行该方法的各个步骤中的每个步骤的模块的结构元件来实现。

可以理解的是,在说明书或权利要求中公开的多个步骤、过程、操作或功能的公开不应被解释为处于特定顺序,只要这没有明确地或隐含地例如出于技术原因另行说明。因此,多个步骤或功能的公开不将它们限于特定顺序,除非这些步骤或功能由于技术原因不可互换。此外,在一些示例中,单个步骤、功能、过程或操作可以包括和/或可以被分解成多个子步骤、子功能、子过程或子操作。这些子步骤可以被包括并且是所述单个步骤的公开内容的一部分,只要其没有被明确地排除。

此外,以下权利要求由此被纳入详细的说明书中,每项权利要求可以独立作为单独的示例。虽然每项权利要求可以独立地作为单独的示例,但是应当注意,尽管权利要求中的从属权利要求可以涉及与一项或多项其它权利要求的特定组合,但是其它示例也可以包括从属权利要求与任何其它从属或独立权利要求的技术方案的组合。除非指出不考虑特定组合,否则在此明确提出这些组合。此外,一项权利要求的特征也应被包括在任何其它独立权利要求中,即使该权利要求没有直接从属于该独立权利要求。

附图标记列表

11 车辆

12 中心线

13 道路边界

14 道路

20 回旋样条

21 回旋段

22 过渡点

30 计算机实现的方法

31 提供环境测量数据

32 变换状态函数和环境测量数据

33 调整状态函数

33a 检查环境测量数据的错误

33b 存储错误

33c 使用错误

40 多传感器数据融合

41 摄像机

42 地图制造商的传感器装置

43 HD地图

44 数据融合

45 道路模型

50 摄像机的环境测量数据

51 回旋样条的采样点

52 摄像机的环境测量数据的采样点

60-1 第一种采样方法的图示

60-2 第二种采样方法的图示

61 多项式的采样点

62 多项式

63 泰勒多项式的采样点

64 泰勒多项式

90 多项式样条

91 航点

92 多项式函数

100 装置

102 接收单元

103 存储介质

110 发射器。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号