用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法

摘要

用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法。一种比较模块从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。一种感知模块基于第一数据来生成第一组感知结果；基于第二数据来生成第二组感知结果；以及基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。一种诊断模块基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。

说明书

技术领域

引言

本节中提供的信息是为了总体上呈现本公开的上下文的目的。当前署名的发明人的工作，就其在本节中所描述的程度而言，以及在提交时可不被另视为现有技术的该描述的各方面，既不明确地也不隐含地被认作针对本公开的现有技术。

本公开总体上涉及在自主车辆中使用的感知系统，且更特别地涉及用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法。

背景技术

在自主车辆中使用的感知系统利用各种传感器来感测车辆的周围环境。感知系统从这些传感器接收有关车辆周围环境的数据。例如，这些传感器包括摄像头和其他（例如，雷达、LIDAR、声纳等）传感器，它们位于车辆内和外部的各种位置处并将数据提供给感知系统。感知系统处理从这些传感器接收的数据并确定车辆的周围环境。例如，周围环境可包括其他车辆、行人、道路标志、交通标志、建筑物、地标等等。自主车辆的子系统可以基于这些确定点（determinations）来控制车辆。这些确定点也可以用以通知和警告驾驶员车辆周围的条件。

发明内容

一种系统包括比较模块、感知模块和诊断模块。比较模块被构造成：从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。感知模块被构造成：基于第一数据来生成第一组感知结果；基于第二数据来生成第二组感知结果；以及基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。诊断模块被构造成基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。

在另一个特征中，系统进一步包括缓解模块，该缓解模块被构造成响应于诊断模块在传感器中的一者或感知模块中诊断出故障来执行缓解程序。

在另一个特征中，诊断模块被构造成基于在移动窗口上求平均值的第一差异和第二差异中的每一者的多个来确定传感器中的一者或感知模块是否有故障。

在另一个特征中，响应于车辆是静止的，比较模块被构造成通过在第一数据和第二数据的各元素之间执行逐元素比较来将第一数据与第二数据进行比较。

在另一个特征中，响应于车辆处于运动中，比较模块被构造成：通过从第一数据和第二数据中识别特征并通过对这些特征进行匹配来将第一数据与第二数据进行比较；以及基于该匹配来确定第一数据和第二数据之间的第一差异。

在其他特征中，比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出这些特征。比较模块被构造成：分别将第一数据和第二数据输入到所述多个神经网络模型中的第一神经网络模型和第二神经网络模型；分别从第一神经网络模型和第二神经网络模型接收第一特征和第二特征；计算第一特征和第二特征之间的欧几里德距离；以及通过正规化欧几里得距离来生成得分。得分指示第一数据和第二数据之间的第一差异。

在其他特征中，比较模块包括配对模块，该配对模块被构造成基于所有对物体的交并比值来使第一组感知结果中的物体与第二组感知结果中的物体配对。比较模块包括过滤模块，该过滤模块被构造成过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体。比较模块包括距离确定模块，该距离确定模块被构造成基于过滤后的被配对物体来确定第一组感知结果和第二组感知结果之间的欧几里得距离。欧几里得距离表示第二差异。

在另一个特征中，配对模块被构造成：基于所有所述对物体的交并比值的递减顺序而以迭代方式使第一组感知结果中的物体与第二组感知结果中的物体配对；以及使用被配对物体来对第一组感知结果和第二组感知结果进行分类。

在另一个特征中，过滤模块被构造成：在过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。

在其他特征中，距离确定模块被构造成通过以下步骤来确定第一组感知结果和第二组感知结果之间的欧几里得距离：在过滤后的被分类的第一组感知结果和第二组感知结果中生成被配对物体之间的距离的第一平均值；使用查找表基于被配对物体的类型来生成第二平均值；通过相应的权重来缩放第一平均值和第二平均值；以及将加权后的第一平均值和第二平均值进行组合。

在再其他特征中，一种方法包括：从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。该方法进一步包括：使用感知模块基于第一数据来生成第一组感知结果；使用感知模块基于第二数据来生成第二组感知结果；以及使用感知模块基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。该方法进一步包括：基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。

在另一个特征中，该方法进一步包括：响应于在传感器中的一者或感知模块中诊断出故障来执行缓解程序。

在另一个特征中，该方法进一步包括：通过在移动窗口上对第一差异和第二差异中的每一者的多个求平均值来确定传感器中的一者或感知模块是否有故障。

在另一个特征中，该方法进一步包括：响应于车辆是静止的，通过在第一数据和第二数据的各元素之间执行逐元素比较来将第一数据与第二数据进行比较。

在另一个特征中，该方法进一步包括：响应于车辆处于运动中，通过从第一数据和第二数据中识别特征并对这些特征进行匹配来将第一数据与第二数据进行比较；以及基于该匹配来确定第一数据和第二数据之间的第一差异。

在其他特征中，该方法进一步包括：从多个相同的神经网络模型中选择第一神经网络模型和第二神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出这些特征；分别将第一数据和第二数据输入到第一神经网络模型和第二神经网络模型；分别从第一神经网络模型和第二神经网络模型接收第一特征和第二特征；计算第一特征和第二特征之间的欧几里德距离；以及通过正规化欧几里得距离来生成得分。得分指示第一数据和第二数据之间的第一差异。

在其他特征中，该方法进一步包括：基于所有对物体的交并比值来使第一组感知结果中的物体与第二组感知结果中的物体配对；过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及基于过滤后的被配对物体来确定第一组感知结果和第二组感知结果之间的欧几里得距离。欧几里得距离表示第二差异。

在其他特征中，配对进一步包括：基于所有所述对物体的交并比值的递减顺序而以迭代方式使第一组感知结果中的物体与第二组感知结果中的物体配对；以及使用被配对物体来对第一组感知结果和第二组感知结果进行分类。

在另一个特征中，过滤进一步包括：在过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。

在其他特征中，该方法进一步包括通过以下步骤来确定第一组感知结果和第二组感知结果之间的欧几里得距离：在过滤后的被分类的第一组感知结果和第二组感知结果中生成被配对物体之间的距离的第一平均值；使用查找表基于被配对物体的类型来生成第二平均值；通过相应的权重来缩放第一平均值和第二平均值；以及将加权后的第一平均值和第二平均值进行组合。

本发明还提供了以下技术方案：

1. 一种系统，其包括：

比较模块，其被构造成：

从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；

在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；

将所述第一数据与所述第二数据进行比较；以及

基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；

感知模块，其被构造成：

基于所述第一数据来生成第一组感知结果；

基于所述第二数据来生成第二组感知结果；以及

基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及

诊断模块，其被构造成：基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。

2. 根据技术方案1所述的系统，其进一步包括缓解模块，所述缓解模块被构造成响应于所述诊断模块在所述传感器中的一者或所述感知模块中诊断出故障来执行缓解程序。

3. 根据技术方案1所述的系统，其中，所述诊断模块被构造成基于在移动窗口上求平均值的所述第一差异和所述第二差异中的每一者的多个来确定所述传感器中的一者或所述感知模块是否有故障。

4. 根据技术方案1所述的系统，其中，响应于所述车辆是静止的，所述比较模块被构造成通过在所述第一数据和所述第二数据的各元素之间执行逐元素比较来将所述第一数据与所述第二数据进行比较。

5. 根据技术方案1所述的系统，其中，响应于所述车辆处于运动中，所述比较模块被构造成：

通过从所述第一数据和所述第二数据中识别特征并通过对所述特征进行匹配来将所述第一数据与所述第二数据进行比较；以及

基于所述匹配来确定所述第一数据和所述第二数据之间的所述第一差异。

6. 根据技术方案1所述的系统，其中，所述比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出所述特征，并且其中，所述比较模块被构造成：

分别将所述第一数据和第二数据输入到所述多个神经网络模型中的第一神经网络模型和第二神经网络模型；

分别从所述第一神经网络模型和第二神经网络模型接收第一特征和第二特征；

计算所述第一特征和第二特征之间的欧几里德距离；以及

通过正规化所述欧几里得距离来生成得分，

其中，所述得分指示所述第一数据和所述第二数据之间的所述第一差异。

7. 根据技术方案1所述的系统，其中，所述比较模块包括：

配对模块，其被构造成基于所有对所述物体的交并比值来使所述第一组感知结果中的物体与所述第二组感知结果中的物体配对；

过滤模块，其被构造成过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及

距离确定模块，其被构造成基于所述过滤后的被配对物体来确定所述第一组感知结果和第二组感知结果之间的欧几里得距离，其中，所述欧几里得距离表示所述第二差异。

8. 根据技术方案7所述的系统，其中，所述配对模块被构造成：

基于所有所述对所述物体的所述交并比值的递减顺序而以迭代方式使所述第一组感知结果中的所述物体与所述第二组感知结果中的物体配对；以及

使用所述被配对物体来对所述第一组感知结果和第二组感知结果进行分类。

9. 根据技术方案8所述的系统，其中，所述过滤模块被构造成：在过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的所述外边缘的坐标的所述物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。

10. 根据技术方案9所述的系统，其中，所述距离确定模块被构造成通过以下步骤来确定所述第一组感知结果和第二组感知结果之间的所述欧几里得距离：

在所述过滤后的被分类的第一组感知结果和第二组感知结果中生成所述被配对物体之间的距离的第一平均值；

使用查找表基于所述被配对物体的类型来生成第二平均值；

通过相应的权重来缩放所述第一平均值和第二平均值；以及

将所述加权后的第一平均值和第二平均值进行组合。

11. 一种方法，其包括：

从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；

在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；

将所述第一数据与所述第二数据进行比较；

基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；

使用感知模块基于所述第一数据来生成第一组感知结果；

使用所述感知模块基于所述第二数据来生成第二组感知结果；

使用所述感知模块基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及

基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。

12. 根据技术方案11所述的方法，其进一步包括：响应于在所述传感器中的一者或所述感知模块中诊断出故障来执行缓解程序。

13. 根据技术方案11所述的方法，其进一步包括：通过在移动窗口上对所述第一差异和所述第二差异中的每一者的多个求平均值来确定所述传感器中的一者或所述感知模块是否有故障。

14. 根据技术方案11所述的方法，其进一步包括：响应于所述车辆是静止的，通过在所述第一数据和所述第二数据的各元素之间执行逐元素比较来将所述第一数据与所述第二数据进行比较。

15. 根据技术方案11所述的方法，其进一步包括：响应于所述车辆处于运动中：

通过从所述第一数据和所述第二数据中识别特征并对所述特征进行匹配来将所述第一数据与所述第二数据进行比较；以及

基于所述匹配来确定所述第一数据和所述第二数据之间的所述第一差异。

16. 根据技术方案11所述的方法，其进一步包括：

从多个相同的神经网络模型中选择第一神经网络模型和第二神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出所述特征；

分别将所述第一数据和第二数据输入到所述第一神经网络模型和第二神经网络模型；

分别从所述第一神经网络模型和第二神经网络模型接收第一特征和第二特征；

计算所述第一特征和第二特征之间的欧几里德距离；以及

通过正规化所述欧几里得距离来生成得分，

其中，所述得分指示所述第一数据和所述第二数据之间的所述第一差异。

17. 根据技术方案11所述的方法，其进一步包括：

基于所有对所述物体的交并比值来使所述第一组感知结果中的物体与所述第二组感知结果中的物体配对；

过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及

基于所述过滤后的被配对物体来确定所述第一组感知结果和第二组感知结果之间的欧几里得距离，其中，所述欧几里得距离表示所述第二差异。

18. 根据技术方案17所述的方法，其中，所述配对进一步包括：

基于所有所述对所述物体的所述交并比值的递减顺序而以迭代方式使所述第一组感知结果中的所述物体与所述第二组感知结果中的物体配对；以及

使用所述被配对物体来对所述第一组感知结果和第二组感知结果进行分类。

19. 根据技术方案18所述的方法，其中，所述过滤进一步包括：在过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的所述外边缘的坐标的所述物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。

20. 根据技术方案19所述的方法，其进一步包括通过以下步骤来确定所述第一组感知结果和第二组感知结果之间的所述欧几里得距离：

在所述过滤后的被分类的第一组感知结果和第二组感知结果中生成所述被配对物体之间的距离的第一平均值；

使用查找表基于所述被配对物体的类型来生成第二平均值；

通过相应的权重来缩放所述第一平均值和第二平均值；以及

将所述加权后的第一平均值和第二平均值进行组合。

本公开的另外的适用领域将从详细描述、权利要求书和附图变得显而易见。详细描述和特定示例仅旨在用于图示的目的而非旨在限制本公开的范围。

附图说明

本公开将从详细描述和附图变得被更充分地理解，其中：

图1示出了根据本公开的用于在车辆的感知系统中诊断出故障的系统的整体架构；

图2示出了用于在从传感器接收的数据的两个帧中使物体配对的方法，该方法基于交并比（IoU）比率而执行；

图3示出了用于在从传感器接收的数据的两个帧中使物体配对的方法的流程图，该方法基于IoU比率而执行；

图4示出了查找表的示例，该查找表用以基于一对中的各物体的类型或类别来确定值；

图5示出了用于确定两个帧之间的差异的基于特征匹配的系统；

图6示出了用于确定两个帧之间的差异的基于神经网络的系统；

图7示出了用于在感知系统中诊断出故障的方法的流程图；

图8A和图8B示出了根据本公开的用于在车辆的感知系统中诊断出故障并缓解所述故障的系统的功能性框图；

图9A示出了可以实施图1至图8B中所示的系统和方法的分布式计算系统的简化示例；以及

图9B示出了图9A的分布式计算系统的服务器的简化示例。

在附图中，附图标记可被重复使用以识别类似和/或相同的元件。

具体实施方式

用以确定车辆周围环境的感知系统遭受故障，需要对这些故障进行检测。感知系统的在线诊断可以是具有挑战性的，因为当车辆在道路上驾驶时，难以实时确定地面实况，其中地面实况是通过直接观测所提供的参考信息（即，经验证据），而不是通过推断所提供的信息。本公开提供了在没有地面实况的情况下诊断感知系统的系统和方法。所述系统和方法计算传感器数据和感知结果的时间连续性，并且基于不连续性来确定故障。所述系统和方法可以在运行时间期间动态地（on the fly）在感知系统中检测和识别故障。

用于计算时间连续性并生成诊断结果的框架包括：通过剖析从传感器接收的两个连续帧或数据集来计算传感器数据中的时间连续性。该框架进一步包括故障隔离逻辑，该故障隔离逻辑在时间窗口中使用聚合的连续性信息。值得注意的是，所述系统和方法不确定且不使用传感器数据中的空间不连续性。所述系统和方法通过提供故障警报和优化车队管理来改善用户体验。所述系统和方法在没有附加硬件的情况下改善感知系统的可靠性并增强车辆的感知质量。

具体地，本公开的系统和方法使用原始数据和基于原始数据所生成的感知结果的时间连续性信息来检测和隔离感知系统中的故障。时间连续性表示两个帧之间的变化。所述系统和方法计算两个连续帧之间的时间连续性。对于感知结果，所述系统和方法使用配对方法、交并比（IoU）比率、过滤和欧几里得距离。对于原始数据，所述系统和方法取决于车辆的状态而使用两种不同的方法。所述系统和方法使用L2范数，其涉及在车辆空转时基于两个帧之间的逐像素比较来确定误差并将这些误差聚合。所述系统和方法在车辆移动时使用特征匹配。

所述系统和方法基于以下两者的组合来做出诊断决策：从来自两个帧的原始数据的直接比较（使用L2范数或特征匹配执行）获得的连续性值、以及从基于原始数据所生成的感知结果获得的连续性值。所述系统和方法在时间窗口中将连续性信息聚合，并且将连续性与不同阈值进行比较以隔离传感器中和感知系统中的故障。进一步地，所述系统和方法可以缓解检测到的故障。例如，所述系统和方法可以脱离自驾特征、将警报发送给驾驶员、平稳地靠边停车和/或忽略融合中的有故障的感知通道（即，当通道冗余可用时，隔离和无视有故障的通道）。下文详细描述所述系统和方法的这些和其他特征。

本公开被如下组织。参考图1示出并描述了用于在车辆的感知系统中诊断出故障的系统的整体架构。参考图2和图3示出并描述了一种用于基于IoU比率使在两个数据帧中找到的物体配对的方法。在图4中示出了用以基于一对中的各物体的类型或类别来确定值的查找表的示例。该值指示一对中的各物体的类型相似度。接下来，描述了基于感知结果来确定两个数据帧之间的差异，包括配对、过滤和确定欧几里得距离。此后，描述了针对静止的车辆确定来自两个帧的原始数据之间的差异。对于移动的车辆，参考图5示出并描述了用于确定来自两个帧的原始数据之间的差异的基于特征匹配的系统。参考图6示出并描述了用于确定来自两个帧的原始数据之间的差异的基于神经网络的系统。参考图7示出并描述了一种诊断方法。参考图8A和图8B示出并描述了一种用于通过利用参考图1至图7描述的系统、方法和教导来诊断和缓解故障的系统。参考图9A和图9B示出并描述了可以实施图1至图8B的系统和方法的分布式计算系统。

当车辆搭载（onboard）的传感器从围绕车辆的物体捕获到数据时，来自传感器的原始数据被发送给感知系统以进行处理。感知系统不仅由原始数据组成物体的图像，而且在边界框中提供物体的表示，其中物体的方位坐标指示在感测物体的时候物体的方位。感知系统对物体进一步分类（例如，提供关于物体的类型或类别的指示，该物体是否为车辆、交通标志、地标、行人等等）。

由于有故障的传感器或在由感知系统执行的处理中的误差，在由感知系统生成的物体的表示中会出现误差。当传感器有故障时，原始数据可能不连续，且因此物体的表示可能不准确。当故障是在由感知系统执行的处理中时，从传感器接收的原始数据可能是连续的，但是由于在由感知系统执行的原始数据的处理中的误差，物体的表示可能不准确。本公开的系统和方法识别故障是在从传感器接收的原始数据中还是在由感知系统执行的原始数据的处理中并缓解该故障。

本公开的系统和方法是鲁棒的，因为它们使用来自两个全异的信息通道的输入。所述系统和方法在第一输入通道中使用来自传感器的原始数据，并在第二输入通道中使用由感知系统基于原始数据生成的感知结果。由于两个输入包含不同类型的数据，因此所述系统和方法以不同方式分析这两个输入，且然后将这两个输入的分析结果进行组合。因此，本公开的系统和方法可以查明如源于原始数据中的由于传感器故障所致的误差或者源于由感知系统执行的处理中的由于处理系统中的故障所致的误差。

图1示出了根据本公开的用于在车辆的感知系统中诊断出故障的系统100的整体架构。在系统100中，D表示来自传感器的原始数据，R表示基于原始数据生成的感知结果。例如，k和k-1分别表示由传感器在时间t和t-1捕获的数据的当前帧和先前帧。

在系统100的第一通道中，在106处，比较来自两个连续帧（在102和104处示出）的原始数据D

在120处，基于两个差异ΔD

最初，下文参考图2至图4来描述系统100的第二通道，该第二通道涉及：生成感知结果R

图2和图3示出了基于交并比（IoU）比率执行的使在两个相连帧中发现的物体配对。在图2中，感知结果R

注意，由于各种原因，每个感知结果向量中的物体的数量（即，帧k和k-1中的物体的数量）可不同。例如，差异可能是由于来自帧k-1的一些物体移出并在帧k中缺失、在帧k-1中缺失的一些物体移入并在帧k中出现、在生成感知结果时出现误差等等所致。进一步地，帧k-1中的物体r

图2使用在物体之间绘制的箭头示出了在帧k和k-1中的被配对物体。例如，帧k中的物体r

如下执行物体配对。最初，针对所有物体i和j计算IoU

在物体被配对之后，将所得向量称为被分类向量。符号~用以指示被分类向量（即，在配对之后）。在所示的示例中，被分类向量是R

图3示出了用于执行基于IoU的配对的方法300。在302处，控制将被配对的感知结果（被分类向量）R

在308处，控制确定是否IoU

在312处，控制确定R

在314处，控制确定R

在318处，控制确定R

如果两个相连帧中的物体的数量不同，则这可能是由于物体移入或移出帧所致。一种检查两个相连帧中物体的不连续性（先前帧中缺失的物体在当前帧中出现，或者先前帧中存在的物体在当前帧中消失）的方式是确定该物体是否在帧的边界上。如果物体在帧的边界上（很可能移入或移出帧），则该物体可以从两个帧中移除并且不被视为误差的指示。

例如，在被配对的感知结果或被分类向量R

接下来，如下计算过滤后的被分类的向量之间的欧几里得距离。令R

首先，对于过滤后的被分类的向量中的每个物体对，计算在两个帧中一对中的各物体之间的距离（即，同一物体之间的距离）。将两个向量中的被配对物体之间的距离的平均值计算为ΔB

ΔB

然后，使用查找表来确定一对中的各物体的类型或类别的值。例如，如在图4中的查找表的示例中所示，如果在帧k中一对中的一个物体的类别是汽车且在帧k-1中也是汽车，则该对中的各物体的类别的值为1。如果在帧k中一对中的一个物体的类别是汽车且在帧k-1中是厢型车，则该对中的各物体的类别的值为0.9，等等。然后，将两个过滤后的向量中所有被配对物体的类别值的平均值计算为ΔC

两个帧之间（即，两个过滤后的被分类的向量之间）的欧几里德距离ΔR

为了比较来自传感器的原始数据，最初，确定车辆的状态—车辆是静态的（即，静止）还是动态的（即，移动）。取决于车辆状态，使用不同的方法来处理原始数据。具体地，如果车辆处于静止状态，则使用L2范数在两个连续帧中的数据之间进行逐元素或逐像素比较。这提供了分别来自帧k和k-1的原始数据D

如果车辆在移动，则可以使用以下特征匹配和比较方法来确定分别来自帧k和k-1的原始数据D

对于图像中的任何物体，可以提取该物体上的兴趣点以提供对该物体的特征描述。然后，从训练图像提取的该描述可以用以在尝试在包含许多其他物体的测试图像中定位物体时识别该物体。尺度不变特征变换（SIFT）是一种用以检测和描述图像中的局部特征的特征检测算法。首先从一组参考图像中提取物体的SIFT关键点，并将其存储在数据库中。通过以下步骤在新图像中辨识物体：将来自新图像的每个特征与该数据库单独地进行比较，以及基于其特征向量的欧几里得距离找到候选匹配特征。从完整的一组匹配中，识别就物体及其在新图像中的位置、尺度和取向达成一致的关键点的子集以过滤出良好的匹配。通过使用广义霍夫变换的有效哈希表实施方式，快速执行对一致性聚类的确定。然后，使就一个物体及其姿势达成一致的3个或更多个特征的每个聚类经受进一步的详细模型验证，且随后丢弃异常值。最后，在给定拟合的准确度和可能的错误匹配数量情况下，计算特定的一组特征指示物体存在的概率。通过所有这些测试的物体匹配可以以高的置信度被识别为正确。SIFT可以甚至在杂波当中且在部分遮挡下鲁棒地识别物体，因为SIFT特征描述符对于均匀的缩放、取向、照度变化是不变的，且对于仿射失真是部分不变的。

加速鲁棒特征（SURF）也是特征检测器和描述符。SURF算法基于与SIFT相同的原理和步骤，但每个步骤中的细节是不同的。SURF算法具有三个主要组成部分：兴趣点检测、局部邻域描述和匹配。兴趣点可以在不同的尺度下找到，部分地是因为搜索对应性常常需要比较图像，其中在不同的尺度下看这些比较图像。描述符的目的是例如通过描述在兴趣点的邻域内的像素强度分布来提供图像特征的唯一且鲁棒的描述。因此，大多数描述符是以局部方式计算的，并且获得对先前识别的每个兴趣点的描述。描述符的维数直接影响其计算复杂度和点匹配鲁棒性/准确性两者。短描述符可对外观变化更具鲁棒性，但可能不提供足够的辨别力，且因此给出过多的误报。最初，可重现的取向基于来自围绕兴趣点的圆形区域的信息是固定的。然后，构造正方形区域并使其与所选取向对准，且自其提取SURF描述符。通过比较从不同图像获得的SURF描述符，可以找到匹配对。

图5示出了系统400，其在车辆移动时使用用于确定分别来自帧k和k-1的原始数据D

在第一方法中，SIFT/SURF特征表示图像中的关键点。关键点是图像中携带与图像有关或关于图像的信息的点。例如，图像中的关键点可以包括图像中的诸如拐角、交叉点、空间形状或轮廓之类的属性。关键点描述符向量表示原始图像中的所有关键点。

来自帧k和k-1的原始数据D

类似地，对于来自帧k-1的原始数据D

然后，特征匹配模块404在两个帧k和k-1之间执行特征匹配。特征匹配与上文参考图2和图3描述的物体配对类似，除了关键点在特征匹配中被配对而不是使物体配对之外。特征匹配模块404使用以下方法来执行特征匹配，以确定两个连续帧k和k-1的关键点描述符向量之间的距离。

最初，特征匹配模块404设置Count = 0。对于{1,2,…,J

然后，误差确定模块406将表示帧k和k-1之间的距离或差异的误差确定为E = 1 –Count/J

图6示出了系统450，其在车辆移动时使用用于确定分别来自帧k和k-1的原始数据D

在第二替代性方法中，使用神经网络来生成特征值。具体地，使用来自视频的输入来训练神经网络模型，以识别和确定帧之间的差异。训练后的神经网络模型可以计算两个帧之间的距离或误差。

在使用中，如图6中所示，共享相同权重W 456的两个相同的训练后的神经网络模型G

图7示出了诊断方法500。在502处，控制计算在移动窗口上收集的ΔD

在508处，如果平均值ΔD

在514处，如果平均值ΔR

在508处，如果平均值ΔD

可以基于许多不同的条件来触发诊断方法500。此类条件的非限制性示例包括以下各者。例如，可以周期性地执行诊断方法（例如，每N分钟、在每次点火后、在每次点火后的X分钟后、在车辆停止后（诸如，在交通信号灯或交通标志处）开始移动后的Y分钟后等等）。例如，每当车辆接近或经过特定交叉路口或位置（例如，在市区中）时，可以触发诊断方法，在该交叉路口或位置处中可存在感知误差的机会。例如，诊断方法在高速公路上可以比在城市中更不频繁地触发。例如，可以不考虑任何触发条件来连续地执行诊断方法。构想了可以触发诊断方法的附加因素或考虑事项（基准）的其他示例。

缓解程序的非限制性示例包括以下各者。例如，如果诊断方法指示传感器故障（例如，摄像头中的一者未恰当地工作），则缓解程序可以包括无视该传感器并改为使用另一个传感器（例如，另一个摄像头）。例如，如果诊断方法指示感知系统中的故障（即，如果感知系统结果不正确），则缓解程序可以包括发警报给乘客以立即控制车辆并脱离自驾特征。例如，可以经由车辆的信息娱乐子系统以视听方式输出此类警报消息。取决于故障的严重程度，缓解程序还可以包括将车辆向路边靠边停车（例如，使用车辆的自主子系统）。构想了缓解程序的附加示例。

图8A和图8B示出了用于诊断和缓解车辆的感知系统中的故障的系统600。系统600利用图1中所示的系统100的架构，并且利用图2至图7中所示的系统和方法。

在图8A中，系统600包括贯穿车辆分布的多个传感器602。系统600进一步包括根据本公开的感知系统604。感知系统可与车辆的各种子系统606通信。

例如，子系统606可以包括但不限于信息娱乐子系统（例如，以提供警报）、自主或自驾子系统（例如，以控制车辆、缓解故障等）、制动子系统、速度控制子系统、导航子系统、通信子系统（例如，以与图9A和图9B中所示的基于云端的后端系统进行通信）等。

例如，子系统606中的一者可向感知系统604指示车辆何时静止或移动。因此，感知系统604可以选择和使用恰当的方法来进行故障检测和故障隔离，如上文详细描述的。

感知系统604包括比较模块610、感知模块612、诊断模块614和缓解模块616。如图8B中所示，感知模块612包括结果生成模块618、配对模块620、过滤模块624和距离确定模块626。

传感器602感测车辆的周围环境并将原始数据提供给感知系统604。在感知系统604中，比较模块610比较来自两个帧的原始数据。比较模块610执行用于在车辆静止时确定来自两个帧的原始数据之间的第一差异ΔD

感知模块612基于来自两个帧的原始数据来生成感知结果或感知结果向量R

诊断模块614使用上文参考图7示出并描述的方法500来诊断传感器602中和感知模块604中的故障。缓解模块616取决于检测到的故障来执行缓解程序，如上文描述的。

下文是其中可以实施本公开的系统和方法的分布式计算环境的简单化示例。贯穿该描述，对诸如服务器、客户端装置、应用程序等等的术语的引用仅出于图示性目的。术语服务器和客户端装置将被广义地理解为表示具有被构造成执行机器可读指令的一个或多个处理器和存储器的计算装置。术语应用程序和计算机程序将被广义地理解为表示可由计算装置执行的机器可读指令。

图9A示出了分布式计算系统700的简化示例。分布式计算系统700包括分布式通信系统710、一个或多个车辆720-1、720-2、…、和720-M（统称为车辆720）以及一个或多个服务器730-1、730-2、...、和730-N（统称为服务器730）。M和N是大于或等于一的整数。

分布式通信系统710可包括局域网（LAN）、广域网（WAN）（诸如，因特网）或其他类型的网络。车辆720和服务器730可位于不同的地理位置处，并且可经由分布式通信系统710彼此通信。例如，服务器730可位于云端中的数据中心中。车辆720和服务器730可使用无线和/或有线连接而连接到分布式通信系统710。

车辆720可包括上文参考图1至图8B示出并描述的系统，这些系统可执行软件应用程序（诸如，上文参考图1至图8B描述的各种方法）。服务器730可将多种服务提供给客户端装置720。例如，服务器730可执行由一个或多个供应商开发的软件应用程序（例如，如上文描述的用于诊断和缓解故障的后端系统）。服务器730可托管软件应用程序在将服务提供给车辆720的用户时所依赖的多个数据库。

图9B示出了服务器730-1的简化示例。服务器730-1通常包括一个或多个CPU或处理器770、网络接口778、存储器780和大容量存储装置782。在一些实施方式中，服务器730-1可以是通用服务器，并且包括一个或多个输入装置772（例如，小键盘、触摸板、鼠标等等）和包括显示器776的显示子系统774。

网络接口778将服务器730-1连接到分布式通信系统710。例如，网络接口778可包括有线接口（例如，以太网接口）和/或无线接口（例如，Wi-Fi、蓝牙、近场通信（NFC）或其他无线接口）。存储器780可包括易失性或非易失性存储器、高速缓存或其他类型的存储器。大容量存储装置782可包括快闪存储器、一个或多个磁性硬盘驱动器（HDD）或其他大容量存储装置。

服务器730-1的处理器770执行操作系统（OS）784以及一个或多个服务器应用程序786（例如，如上文描述的用于诊断和缓解故障和/或用于进一步分析较小或非关键性故障的后端系统），所述OS和服务器应用程序可被容纳在虚拟机管理程序或容器化架构中。大容量存储装置782可存储一个或多个数据库788，所述数据库存储由服务器应用程序786用来执行相应的功能的数据结构。

前面的描述本质上仅仅是图示性的，并且不旨在限制本公开、其应用或使用。本公开的广泛教导可以以多种形式实施。因此，尽管本公开包括特定示例，但是本公开的真实范围不应受到如此限制，因为在研究附图、说明书和以下权利要求时，其他修改将变得显而易见。

应理解，方法内的一个或多个步骤可以以不同次序（或同时）执行，而不更改本公开的原理。进一步地，虽然上文将实施例中的每一者描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在其他实施例中的任一者的特征中实施和/或与其组合，即使该组合未明确描述。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此的排列仍然在本公开的范围内。

元件之间（例如，模块、电路元件、半导体层等之间）的空间和功能关系使用各种术语来描述，包括“连接”、“接合”、“联接”、“相邻”、“紧邻”、“在……顶部”、“上方”、“下方”和“安置”。除非明确地描述为“直接”，否则当在上面的公开中描述第一元件和第二元件之间的关系时，该关系可以是在第一元件和第二元件之间不存在其他介入元件的直接关系，但也可以是在第一元件和第二元件之间存在（空间抑或功能上）一个或多个介入元件的间接关系。

如本文中所使用的，短语A、B和C中的至少一者应被解释为使用非排他性逻辑OR来意指逻辑（A OR B OR C），并且不应被解释为意指“A中的至少一者、B中的至少一者、以及C中的至少一者”。

在附图中，如由箭头指示的箭头方向总体上表示图示所关注的信息（诸如，数据或指令）的流动。例如，当元件A和元件B交换多种信息但是从元件A传输到元件B的信息与图示相关时，箭头可从元件A指向元件B。该单向箭头并不暗示没有其他信息从元件B传输到元件A。进一步地，对于从元件A发送给元件B的信息，元件B可向元件A发送针对信息的请求或接收确认。

在本申请（包括下面的定义）中，术语“模块”或术语“控制器”可用术语“电路”代替。术语“模块”可指代以下各者、为以下各者的一部分、或包括以下各者：专用集成电路（ASIC）；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（FPGA）；执行代码的处理器电路（共享、专用或组）；存储由处理器电路执行的代码的存储器电路（共享、专用或组）；提供所描述的功能的其他合适的硬件部件；或者以上各者中的一些或全部的组合，诸如在片上系统中。

模块可包括一个或多个接口电路。在一些示例中，接口电路可包括连接到局域网（LAN）、因特网、广域网（WAN）或其组合的有线或无线接口。本公开的任何给定模块的功能可分布在经由接口电路连接的多个模块当中。例如，多个模块可允许负载平衡。在另外的示例中，服务器（也称为远程或云端）模块可代表客户端模块完成某种功能。

如上文所使用的术语代码可包括软件、固件和/或微代码，并且可指代程序、例程、函数、类别、数据结构和/或对象。术语共享处理器电路涵盖单个处理器电路，其执行来自多个模块的一些或所有代码。术语组处理器电路涵盖处理器电路，该处理器电路与附加的处理器电路组合来执行来自一个或多个模块的一些或所有代码。对多个处理器电路的引用涵盖分立管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个核、单个处理器电路的多个线程、或以上各者的组合。术语共享存储器电路涵盖单个存储器电路，其存储来自多个模块的一些或所有代码。术语组存储器电路涵盖存储器电路，该存储器电路与附加的存储器组合来存储来自一个或多个模块的一些或所有代码。

术语存储器电路是术语计算机可读介质的子集。如本文中所使用的术语计算机可读介质不涵盖通过介质（诸如，载波上）传播的暂时电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性、有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如，快闪存储器电路、可擦除可编程只读存储器电路或掩模只读存储器电路）、易失性存储器电路（诸如，静态随机存取存储器电路或动态随机存取存储器电路）、磁性存储介质（诸如，模拟或数字磁带或硬盘驱动器）和光学存储介质（诸如，CD、DVD或蓝光光盘）。

本申请中所描述的设备和方法可由专用计算机部分地或全部地实施，该专用计算机通过将通用计算机构造成执行体现在计算机程序中的一个或多个特定功能而创建。上文所描述的功能块、流程图部件和其他元件用作软件规范，其可以通过熟练技术人员或程序员的例行工作转换成计算机程序。

计算机程序包括存储在至少一个非暂时性、有形计算机可读介质上的处理器可执行指令。计算机程序还可包括或依赖于存储的数据。计算机程序可涵盖与专用计算机的硬件交互的基本输入/输出系统（BIOS）、与专用计算机的特定装置交互的装置驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。

计算机程序可包括：（i）要解析的描述性文本，诸如HTML（超文本标记语言）、XML（可扩展标记语言）或JSON（JavaScript对象表示法），（ii）汇编代码，（iii）由编译器从源代码生成的目标代码，（iv）由解释器执行的源代码，（v）由即时编译器编译和执行的源代码等。仅作为示例，可使用语法根据包括C、C++、C#、Objective-C、Swift、Haskell、Go、SQL、R、Lisp、Java®、Fortran、Perl、Pascal、Curl、OCaml、Javascript®、HTML5（超文本标记语言第5版）、Ada、ASP（动态服务器网页）、PHP（PHP：超级文本预处理语言）、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash®、Visual Basic®、Lua、MATLAB、SIMULINK和Python®的语言编写源代码。