用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法

摘要

本发明涉及一种用于补充分配给对象(104)的对象信息的方法(200)，其中，所述对象(104)布置在车辆(100)的环境(108)中，其中，所述方法(200)具有读取的步骤(202)、分析处理的步骤(204)和扩展的步骤(206)。在所述读取(202)的步骤中，读取传感器信息，所述传感器信息代表所述车辆(100)的驾驶员(114)对位于所述驾驶员(114)的视向(308)上的对象(104)的反应。在所述分析处理(204)的步骤中，分析处理所述传感器信息，以便接收识别信息，其中，所述识别信息代表所述驾驶员(114)是否已识别所述对象(104)的分析处理结果。在所述扩展(206)的步骤中，以所述识别信息扩展所述对象信息。

说明书

技术领域

本发明涉及一种用于补充分配给对象的对象信息的方法以及涉及一种 用于挑选车辆的环境中的对象的方法，涉及一种相应的设备和涉及一种相 应的计算机程序产品。

背景技术

DE 199 51 001 A1描述了一种用于在车辆中呈现信息的设备。所述信 息的呈现由不同的数据源渐显到驾驶员的视野中。

发明内容

在此背景下，借助本发明提出根据主权利要求的用于补充分配给对象 的对象信息的方法、用于挑选车辆的环境中的对象的方法、相应的设备和 相应的计算机程序产品。由相应的从属权利要求和以下的说明书得出有利 的构型。

位于车辆的环境中的对象、尤其位于车辆的前部地带的对象可能在某 些情况下不能被车辆的驾驶员识别或者有意识地察觉。对象的不识别可能 具有不同的原因。例如，对象可能例如由于不利的天气条件而难以识别， 或者驾驶员可能注意力被分散或者过度疲劳。但是，专心的驾驶员也可能 忽略一个对象，例如由于驾驶员被当前的行驶状况特别地挑战。通过根据 本发明的方案可以求取，驾驶员是否已识别对象或者未识别对象。在所述 对象方面求取的、表明是否存在对象通过驾驶员的识别的识别信息可以例 如由车辆的驾驶辅助系统利用。例如可以特别突出重要相关的、假定未被 驾驶员识别的对象。

一种用于补充分配给布置在车辆的环境中的对象的对象信息的方法， 所述方法包括以下步骤：

读取传感器信息，所述传感器信息代表所述车辆的驾驶员对位于所述 驾驶员的视向上的对象的反应；

分析处理所述传感器信息，以便获得识别信息，其中，所述识别信息 表明所述对象通过所述驾驶员的识别；

以所述识别信息扩展所述对象信息。

所述对象可以是例如障碍物、其他交通参与者、交通指示牌、动物、 行人或者小孩。所述对象可以代表被车辆的环境检测装置检测的对象。例 如，在使用对象识别装置的情况下可以求取关于对象的对象信息并且将所 述对象信息分配给该对象。对象信息可以理解为关于所述对象的属性的集 合。对象信息可以是数据记录。例如对象信息可能包括关于所述对象的对 象类别的信息、所述对象相对于所述车辆的位置、驾驶员朝对象的方向的 视角和/或关于所述车辆与所述对象的碰撞危险的信息。因此，通过对象信 息可以代表对象的不同特性。传感器信息可以是由传感器、例如图像传感 器提供的信息，所述传感器构造用于检测驾驶员。所述反应可以是例如视 向、目光持续时间、运动、如头运动或者胳膊运动或者腿运动。反应也可 以是所述运动的中断。所述反应可能涉及驾驶员的视向。所述反应对于对 象的识别来说可能是独特的。如果驾驶员未识别对象，则关于所述对象， 驾驶员未显示任何反应或者与暗示所述识别的反应不同的反应。在扩展的 步骤中，可以添加识别信息至对象信息或者取代现有的识别信息。

识别信息可以代表对象通过驾驶员的识别的概率。因此，识别信息可 以是用于驾驶员已识别或者未识别所述对象的概率。在反应被归为强烈的 情况下，能以高的概率推断，驾驶员已识别对象。在反应被归为小的情况 下，能以小的概率推断，驾驶员已识别对象。例如长的观察持续时间比短 的观察持续时间可以代表更高的识别概率。

传感器信息可以代表驾驶员的视线范围的固定轴线的空间位置。所述 眼睛区域可以是例如驾驶员的脸或者眼睛之一的位置。在分析处理的步骤 中，可以分析处理停留持续时间，而所述固定轴线朝所述对象定向。固定 可以理解为有针对性地观察(固定)对象，固定轴线或者固定方向可以理 解为在最大分辨率的视网膜位置和固定对象之间的直线(瞄准线)或者理 解为眼睛的生理主观察方向。如果固定轴线切割对象的可见表面并且停留 在那里，则可以以高的概率从驾驶员见到对象出发。借助于视向检测装置 可以检测所述固定轴线。

在分析处理的步骤中，如果固定轴线比识别持续时间更短时间地朝所 述对象定向，则识别信息可以表明对象的未识别。另一方面，如果固定轴 线比识别持续时间更长时间朝所述对象定向，则识别信息可以表明对象的 识别。如果在分析处理的步骤中例如识别到固定轴线无延迟地略过对象， 则可以从驾驶员未检测到对象出发。在这种情况下，可以这样确定或占用 识别信息，使得所述识别信息表明对象的未识别，即表明没有识别。为了 识别所述对象，驾驶员典型地固定在对象上的显著的点并且尝试将所述点 分配给所述对象。为此，驾驶员需要短的时间段、识别持续时间。

在分析处理的步骤中，如果固定轴线比注意力时间段更长时间地不朝 所述对象定向，则将表明所述对象通过所述驾驶员的识别的识别信息置于 以下状态上：所述对象的未识别。因此，如果固定轴线在驾驶员识别所述 对象之后比注意力时间段更长时间地不朝所述对象定向，则识别信息可以 确定为“未识别”。如果驾驶员比注意力时间段更长时间地不看所述对象， 则对象可以再次被分类为未识别。由此，例如可以考虑，驾驶员在识别之 后已忘记所述对象。

在分析处理的步骤中，如果所述对象相对于所述车辆的位置改变大于 一预先确定的值并且所述固定轴线在反应时间之内不朝所述对象定向，则 识别信息可以表明对象的识别，即，所述识别信息可以确定为“未识别”。 驾驶员的视线通常被对象的运动吸引。尤其在困难的可见度条件下，对象 的运动才使得所述识别成为可能。如果对象运动并且驾驶员不对此作出反 应，则驾驶员以高的概率未识别对象。

用于挑选车辆的环境中的对象的方法，其中，所述车辆的对象识别构 造用于提供关于对象的对象信息，所述方法包括以下步骤：

根据所述用于补充的方法以识别信息扩展所述对象信息；

选择所述对象中的以下对象以便获得对象组：所述对象的识别信息表 明所述驾驶员未识别相应的对象；

向到所述车辆的驾驶员辅助系统的接口提供所述对象组的对象信息。

驾驶员辅助系统可以是例如显示设备或者安全设备、例如制动辅助系 统。如果对象布置在显示装置的呈现区域之内，则可以为例如用于车辆的 驾驶员的显示装置提供对象组的对象的对象信息。显示装置可以是车辆的 驾驶员视野显示装置。所述显示装置也可以是车辆中的监视器。呈现区域 可以是车辆的环境的区段。可以在显示装置上呈现在所述区段之内的对象 和/或对象信息。通过仅仅未识别的对象的呈现，可以为驾驶员减小信息流， 因为仅仅未识别的对象需要在显示装置上突出。所识别的对象的突出可能 干扰性地起作用，因为在对象的图像和环境中的真实对象之间可能存在瞄 准误差。

为了在显示装置上特别地突出所述对象，可以提供根据危险度挑选的 对象的以识别信息扩展的对象信息。例如这样的对象可能闪烁地、与象形 文字和/或与信号颜色结合地显示。

在所述选择的步骤中，可以选择有危险的对象，所述对象未被所述驾 驶员识别并且在所述对象中存在碰撞危险。为此，可以读取这些对象的各 一个危险度，其中，危险度代表对象与车辆碰撞的概率。可以选择有危险 的对象，所述对象未被驾驶员识别并且在所述对象中存在碰撞危险，即所 述对象具有例如大于阈值的危险度。可以在使用有危险的对象的对象信息 的情况下为车辆的安全系统提供碰撞信号。在使用车辆的和对象的预先计 算的轨迹的情况下可以计算危险度。例如如果碰撞即将发生，则可能超过 阈值。例如如果行人不保持固定，则可以在使用显示装置的情况下突出在 车辆前方行走的行人。如果驾驶员识别行人，则不再存在进一步突出行人 的必要性。然而，如果驾驶员未识别行人，则例如可以基于碰撞信号启动 自主的制动过程。

在驾驶员辅助系统的领域中可以利用本方案。在驾驶员辅助系统的领 域中，根据在车辆的环境中呈现的状况来进行车辆的识别、分类和(半) 自主的影响承担占有越来越大的作用。根据驾驶员的状态，驾驶员自身的 反应可能不同并且驾驶员对系统干预的反应也可能不同。驾驶员是否意识 到当前的状况——例如行人在道路上行走——的信息可以减小驾驶员辅助 系统的误触发率。

在这里所提出的方案可以使通过环境传感机构、例如雷达、激光雷达、 视频或者超声进行的对象识别、通过算法进行的对象分类、在行人、车辆、 固定的对象和其他对象之间的区分、对于当前车辆的危险的估计和驾驶员 视向的和其头位置的识别统一。尤其可以将对瞳孔的和因此所瞄准的点的 准确识别和不仅仅驾驶员的一般视向用于在这里提出的方案。

本发明实现一种设备，所述设备被构造来在相应的装置中实施或实现 根据本发明的方法的步骤。通过本发明的以设备形式的实施变型方案可以 快速和高效地解决本发明所基于的任务。

设备在此可以理解为处理传感器信号并且据此输出控制信号的电设 备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件 方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不 同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分 地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例 如与其他软件模块共存在微控制器上。

具有程序代码的计算机程序产品也是有利的，所述程序代码可以存储 在机器可读的载体，如半导体存储器、硬盘存储器或光学存储器上并且用 于当在计算机或者设备上执行程序时实施根据先前描述的实施方式之一的 方法。

附图说明

以下参照附图示例性地详细阐述本发明。附图示出：

图1示出根据本发明的一个实施例的具有用于补充分配给对象的对象 信息的设备并且具有用于挑选车辆的环境中的对象的设备的车辆的示图。

图2示出根据本发明的一个实施例的用于补充分配给对象的对象信息 的方法的流程图；

图3示出根据本发明的一个实施例的具有用于通过驾驶员的视向进行 附加的对象分类的系统的车辆的示图；

图4示出根据本发明的一个实施例的用于补充分配给对象的对象信息 的方法的流程图；

图5示出根据本发明的一个实施例的用于挑选车辆的环境中的对象的 方法的流程图。

在本发明的优选的实施例的以下的描述中，对于在不同的附图中示出 的并且类似地起作用的元件使用相同的或者类似的附图标记，其中，省去 对这些元件的重复描述。

具体实施方式

图1示出根据本发明的一个实施例的具有用于补充分配给对象104的 对象信息的设备102并且具有用于挑选车辆100的环境108中的对象104 的设备106的车辆100的示图。车辆100、例如在道路上行驶的机动车具有 环境检测装置110、用于车辆100的驾驶员114的显示装置112和驾驶员检 测装置116。环境检测装置110和驾驶员检测装置116与用于补充的设备 102连接。环境检测装置110构造用于提供关于车辆100的环境108中的对 象104的对象信息。驾驶员检测装置116构造用于提供传感器信息，所述 传感器信息代表车辆100的驾驶员114对位于驾驶员114的视向上的对象 104的反应。例如驾驶员检测装置116可以实施为用于驾驶员视向识别的测 量系统。为此，驾驶员检测装置116可以具有例如图像检测装置和合适的 图像分析处理装置。

用于补充的设备102具有用于读取传感器信息的装置118、用于分析处 理传感器信息的装置120和用于扩展对象信息的装置122。用于读取的装置 118构造用于读取驾驶员检测装置116的传感器信息。用于分析处理的装置 120构造用于分析处理所述传感器信息以便获得识别信息。所述识别信息代 表所述驾驶员114是否已识别或者未识别所述对象104的分析处理结果。 用于扩展的装置122构造用于以识别信息扩展或补充由环境检测装置110 接收的对象信息。

用于补充分配给对象104的对象信息的设备102与用于挑选的设备106 连接。用于挑选的设备106具有用于读取的装置124、用于选择的装置126 和用于提供的装置128。用于读取的装置124构造用于从用于补充的设备 102接收对象信息。用于选择的装置126构造用于选择以下对象以便获得对 象组：所述对象的识别信息代表驾驶员114未识别所述对象。用于提供的 装置128与显示装置112连接。用于提供的装置128构造用于提供对象组 的对象信息以便为驾驶员114进行显示。因此，通过显示装置112向驾驶 员114呈现尤其驾驶员还未识别的对象。不再呈现驾驶员114已经识别的 对象104，以使驾驶员不被环境108分心。

此外或者替代地，用于提供的装置128可以构造用于向其他驾驶员辅 助系统提供以识别信息补充的对象信息。用于挑选对象104的设备102是 可选的。如果不设置用于挑选的设备102，则例如可以直接向驾驶员辅助系 统或者显示装置112提供由用于补充的设备102以识别信息所补充的对象 信息。显示装置例如可以实施为屏幕或者实施为投影装置、例如平视显示 器。

图2示出根据本发明的一个实施例的用于补充分配给对象的对象信息 的方法200的流程图。所述对象布置在车辆的环境中。例如，所述方法的 步骤可以在图1所示出的用于补充的设备的装置上实施。

所述方法具有读取的步骤202、分析处理的步骤204和扩展的步骤206。 在读取的步骤202中，从驾驶员检测传感器读取传感器信息，如其在图1 中所示的那样。传感器信息代表车辆的驾驶员对位于驾驶员的视向上的对 象的反应。在分析处理的步骤204中，分析处理传感器信息，以便获得识 别信息。所述识别信息代表驾驶员是否识别对象的分析处理结果。在扩展 的步骤206中，以识别信息扩展由环境检测装置提供的对象信息。

图3示出根据本发明的一个实施例的具有用于通过驾驶员的视向进行 附加的对象分类的系统300的车辆100的示图。所述系统300具有雷达传 感器302、具有朝车辆100的驾驶员114定向的用于驾驶员眼睛视向识别的 测量系统304的驾驶员检测装置并且具有用于补充的设备102，如其例如在 图1中所的那样。

雷达传感器302具有检测区域306，根据该实施例，该检测区域在车辆 100前方楔形地延伸。在该实施例中，四个对象O1、O2、O3、O4布置在 检测区域306中，所述对象由所述雷达传感器302检测。在使用分配给对 象O1的对象信息的情况下将对象O1分类为人，并且对象O1布置在检测 区域306中。相应的位置说明可以存储在分配给对象O1的对象信息中。对 象O1在车辆100前方位于大于车辆长度的位置处。对象O2布置在检测区 域的左边缘处。对象O2未进一步分类。对象O3位于检测区域306中心， 并且比对象O1离车辆100更远。对象O3也未进一步分类。对象O4位于 检测区域306的右边缘处、未分类并且比对象O2离车辆100更远，并且比 对象O1更靠近车辆100。在对象O3、O4之间有足够的空间以便以车辆100 行驶穿过。对象O3位于车辆100的预计的行驶路径的左边缘处。

朝驾驶员114定向的测量系统304布置在驾驶员114前方并且构造用 于只要驾驶员114的头布置在测量系统304的检测区域310内，则检测驾 驶员114的头位置以及驾驶员114的眼睛的视向308。在这里，检测区域 310锥形地对准头的中间位置。在该实施例中，视向308作为“隧道”呈现， 该“隧道”从驾驶员114的围绕驾驶员114的眼睛中的至少一只的或者占 优势的眼睛的固定轴线312的视线范围出发地布置。“隧道”的横截面相当 于驾驶员114在无眼睛运动和/或头运动的情况下可以完全察觉的表面。在 此，固定轴线312直接地并且直线地连接该表面的中心和所述眼睛。测量 系统304可以根据所述眼睛的位置和所述眼睛在该位置上的取向求取固定 轴线312在空间中的位置。

对象O3位于驾驶员114的视向308上。设备102构造用于通过接口从 雷达传感器302将对象O1、O2、O3、O4的位置例如作为与雷达传感器302 的距离并且作为相对于车辆100的中轴线的角度作为分配给对象O1、O2、 O3、O4的对象信息来接收。此外，设备102构造用于接收附加的关于对象 O1、O2、O3、O4的信息，例如在对象O1的情况下所识别的类别“人” 和对象O1、O2、O3、O4的由驾驶员114的视野可见的表面。

此外，设备102构造用于从测量系统304接收关于驾驶员的视向308 的信息，例如作为具有作为支点(Stützpunkt)的至少一只眼睛的坐标的矢 量。设备102构造用于通过空间上的观察求取对象O1、O2、O3、O4中的 一个或多个是否位于视向308上。在该实施例中，视向308朝对象O3的右 边缘定向。如果视向308足够长时间地保持在对象O3的右边缘上，则驾驶 员114已识别对象O3的概率大。因此，将属性“已识别”分配给对象O3 并且作为识别信息记录在关于对象O3的对象信息中。

换言之，图3示出在这里提出的方案的示例性实现。借助于雷达传感 器302识别周围的对象O_n并且实施对象识别(例如ACC)。此外，测量系 统304朝驾驶员114定向并且识别其头和瞳孔位置并且由此算出驾驶员114 的视向308。在这里所提出的方案分别涉及两个系统302、304的所得到的 信息和这些数据的组合。在这里，目标在于确定驾驶员114已经看到已由 雷达302识别的对象O_n。这些关于对象O_n的附加的信息允许所安装的辅助 系统更有针对性地对对象O_n作出反应。因此，人机接口系统(HMI系统) 也可以有针对性地仅仅使对于驾驶员114来说重要相关、即驾驶员114还 未察觉的信息渐显。

图4示出根据本发明的一个实施例的用于补充分配给对象的对象信息 的方法200的流程图。例如所述方法的步骤可以在图1所示的用于补充的 设备的装置上实施。

对于每一个对象O_n，所述流程图形成一个决定环，如其在图3中所示 的那样。对于所述对象O_n中的每一个，实施该决定环。在决定环开始400 之后，在动作404中对于每个对象O_n计算对象O_n和视向V_G的交集。为此 检查，视向是否到达对象。随后进行问询406。在问询406中问询，对象 O_n是否与V_G具有共同的点，即交集大于空。如果以“是”408答复问询 406，则对象O_n位于驾驶员的视线矢量V_G中。如果以“否”410答复问询 406，则驾驶员未看见对象O_n。在“是”408的情况下，进行动作412。在 动作412中，测量视线在对象O_n上的停留持续时间t_n。在使用停留持续时 间t_n的情况下，在随后的动作414中计算对象已被认知地察觉的概率p_n。 例如在使用处理规定的情况下，如p_n新＝10*t_n。在“否”410的情况下，在 动作416中，保持之前所计算的或者说之前所分派的为0％的识别概率。P_n新＝P_n旧。借助新的识别概率p_n新的指派，环到达其终点402。

由雷达中的对象数据O_n和驾驶员的视向G的组合可以如在图4中所描 述的这样进行。对于每个对象O_n，周期性的函数调用算出所述对象是否在 驾驶员的视线区域中并且由此推导出这样的概率，驾驶员以所述概率已(认 知)地察觉对象。以为0％的概率对由雷达新识别的对象O_n进行初始化。 雷达对象O_n以[X_n，Y_n，Z_n]坐标和尺度已知。驾驶员的视向可以作为具有 支点[X_G，Y_G，Z_G]的方向矢量V_G来求取。

换言之，图4示出用于通过驾驶员的视向或者所述车辆的驾驶员的视 轴线进行附加的对象分类的方案。

借助于关于驾驶员的头位置和视向以及所使用的传感器的安装位置的 信息，可以算出驾驶员在车辆附近的3-D空间中的视线。从已经存在的传 感器和它们的相关算法可以接收关于环境中的对象以及它们的分类的信 息。现在，如果将两个系统——视向和环境对象——的信息联网，则由此 可以识别哪些对象目前位于驾驶员的视线中。现在，通过算法可以进行附 加的对象分类，所述对象分类说明，驾驶员已完全识别该对象并且意识到 危险的概率为多高。

所述信息可以找到多个应用领域。例如用于主动安全系统——例如紧 急制动辅助或者自主避让功能——的干预阈值的匹配。如果例如已知驾驶 员在危险状况下没看见有危险的对象，则可以及早地启动轻微的制动，以 便驾驶员意识到所述状况并且因此主动地接管控制。在驾驶员意识到所述 状况然而未进行制动的情况下，可以启动完全自主的制动过程，以便因此 防止事故。由此能够排除或者说最小化驾驶员错误估计的可能性。例如， 可以通过例如信号声音、闪光信号灯、HUD渐显(Head-up  Display-Einblendung，平视显示器渐显)使驾驶员的注意力转到出现的、未 被识别的危险上。在注意力监视中，如果驾驶员较长时间地疏远危险，(视 线在车辆内部)，则通过信号声音使驾驶员注意其疏漏。由此，驾驶员能够 再次转向交通状况。例如可以将所述信息用于未被驾驶员识别或者说以较 小的概率被驾驶员识别的信息在HUD中的渐显。例如在指示牌识别的情况 下。如果驾驶员忽略了交通指示牌，则由该交通指示牌显示的信息例如速 度限制、禁止超速等等可以在HUD中渐显，直到驾驶员的视线感测到HUD 中的信息。

图5示出根据本发明的一个实施例的用于挑选车辆的环境中的对象的 方法500的流程图。车辆的对象识别如在图1和3中所描述的那样提供关 于重要相关的对象的对象信息。借助所描述的方法以识别信息补充对象信 息。

方法500具有读取的步骤502、选择的步骤504和提供的步骤506。在 步骤502中，读取关于所识别的对象的对象信息。在选择的步骤504中， 选择所识别的对象中的一些或者全部，以便构成对象组。在此，选择这样 的对象，所述对象的识别信息代表驾驶员未识别所述对象。在步骤506中， 提供对象组的对象信息。可以使用对象组的对象信息用于风险估计和用于 驾驶员信息。

所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实 施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个 实施例的特征来补充。此外，可以重复以及以不同于所描述的顺序的顺序 执行根据本发明的方法步骤。如果一个实施例包括第一特征与第二特征之 间的“和/或”关系，则这可以理解如下：所述实施例根据一个实施方式不 仅具有第一特征，而且具有第二特征；并且根据另一个实施方式或者仅仅 具有第一特征，或者仅仅具有第二特征。