一种基于摄像头的虚拟汽车驾驶系统及虚拟驾驶方法

摘要

本发明公开了一种基于摄像头的虚拟汽车驾驶系统及虚拟驾驶方法，其驾驶系统包括上面绘制有多种供虚拟驾驶人员点触的车辆控制信息图案且能旋转操控的标定纸、实时摄取标定纸上车辆控制信息图案的状态信息的摄像头、对摄像头摄取的状态信息进行识别及分析处理的控制器以及与控制器相接的参数设置单元和显示器；其方法包括以下步骤：驾驶准备、标定纸操控、视觉信息获取、视觉信息交互和驾驶控制，即通过操控标定纸对车辆进行变速、鸣笛、转向、刹车和倒车控制。本发明设计新颖合理、投资成本低、使用操作简便且虚拟驾驶效果好、可操作性强，以摄像头为交互方式且通过在现实环境中对标定纸进行操控实现对虚拟汽车进行虚拟驾驶。

说明书

技术领域

本发明属于混合现实领域中的信息交互技术领域，尤其是涉及一种基于摄像头的虚拟汽车驾驶系统及虚拟驾驶方法。

背景技术

现如今，汽车已成为人们日常生活中必不可少的一种交通工具，并且随着生活水平的不断提高，越来越多的人加入了汽车驾驶的行列，然而受到时间、场地、费用等诸多因素限制，模拟驾驶系统收到广大人群喜爱。目前，比较常见的模拟驾驶系统可分为两类：一类是需要额外硬件设备配合使用的汽车模拟驾驶系统，另一类是纯软件而无使用任何硬件设备的汽车模拟驾驶系统。前者虽然可以与真实的驾驶环境相接近，但是成本较高，不易于普及。而后者仅仅是一款软件，通过键盘和鼠标来操控汽车，因而可操作性不强。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种成本低、所需硬件设备少、智能化程度高且虚拟驾驶效果好的基于摄像头的虚拟汽车驾驶系统。

为解决上述技术问题，本发明采用的技术方案是：一种基于摄像头的虚拟汽车驾驶系统，其特征在于：包括上面绘制有多种供虚拟驾驶人员点触的车辆控制信息图案且能随意进行旋转操控的标定纸、实时对标定纸上车辆控制信息图案的状态信息进行摄取的摄像头、与摄像头相接且对摄像头所摄取车辆控制信息图案的状态信息进行识别并进行相应分析处理的控制器、与控制器相接的参数设置单元和对控制器的分析处理结果进行同步显示的显示器，所述控制器与显示器相接，摄像头布设在标定纸上方；所述车辆控制信息图案包括绘制在标定纸上的五种分别表示档位、转向、鸣笛、刹车和倒车的档位控制图案、转向控制图案、鸣笛控制图案、刹车控制图案和倒车控制图案。

所述车辆控制信息图案的形状均为方形。

所述参数设置单元为分别与控制器相接的鼠标和键盘，且所述控制器、显示器、鼠标和键盘为组装为一体的PC机。

所述档位控制图案的数量为5个，且5个档位控制图案分别代表5个不同的行车速度档位；所述转向控制图案、鸣笛控制图案、刹车控制图案和倒车控制图案的数量均为1个。

所述转向控制图案布设在标定纸上部中央，所述5个档位控制图案呈一竖排布设在标定纸左侧，所述刹车控制图案布设在标定纸右侧，所述倒车控制图案和鸣笛控制图案一左一右布设在标定纸下部。

同时，本发明还提供了一种使用操作简便、驾驶控制简单易行且同步性好、虚拟驾驶效果真实、操作性非常强的基于摄像头的虚拟汽车驾驶系统进行虚拟驾驶的方法，其特征在于该方法包括以下步骤：

步骤一、驾驶准备：首先，将标定纸摆正并平整铺放在操作平台上；之后，启动控制器并通过所述参数设置单元设定驾驶时所用的车辆类型及所处的三维场景类型，控制器中的管理模块再根据所设定的车辆类型和三维场景类型相应分别从预先建立的场景库和车辆库中调取对应的车辆信息和三维场景信息，同时管理模块调用三维视景模块通过显示器对所调取的车辆信息和三维场景信息进行同步显示，此时转向控制图案处于初始状态且所调用汽车的转角为0°；

步骤二、通过操控标定纸，对步骤一中所调取的车辆进行虚拟驾驶，并相应实现对所调取并驾驶的车辆进行变速、鸣笛、转向、刹车和倒车控制，其虚拟驾驶过程如下：

201、标定纸操控：标定纸的操控主要包括点触分别绘制在标定纸上的档位控制图案、鸣笛控制图案、刹车控制图案和倒车控制图案以及左右旋转标定纸五种操控模式；

202、视觉信息获取：摄像头实时摄取车辆控制信息图案的状态信息并将所摄取的状态信息同步上传至控制器；

203、视觉信息交互：控制器中的管理模块调用视觉交互模块对摄像头所传送的状态信息进行捕捉和识别处理，并将识别处理结果即控制信息同步传送至管理模块；

204、驾驶控制：所述管理模块根据视觉交互模块所传送的控制信息相应分别调用变速控制模块、鸣笛控制模块、刹车控制模块、倒车控制模块和转向控制模块对所调取并驾驶的车辆进行变速控制、鸣笛控制、刹车控制、倒车控制和转向控制；驾驶控制过程中，管理模块将所述控制信息以及步骤一中所调取的车辆信息和三维场景信息同步传送至物理模拟模块和三维视景模块，管理模块先调用物理模拟模块根据所传送的控制信息对所传送的车辆信息和三维场景信息进行物理模拟运算，并将物理模拟运算结果同步传送至三维视景模块；之后，管理模块再调用三维视景模块对物理模拟模块所传送的物理模拟运算结果同步进行分析处理与显示并根据所传送的控制信息对物理模拟运算后的车辆信息和三维场景信息进行实时更新，实现通过三维视景模块对驾驶控制过程中的车辆运行状态及周边三维场景进行动态及直观显示的目的。

上述步骤202中所述的摄像头实时摄取车辆控制信息图案的状态信息时，所摄取并上传至控制器的状态信息为档位控制图案、鸣笛控制图案、刹车控制图案或倒车控制图案是否被遮盖的信息和标定纸是否被左右旋转以及标定纸左右旋转的角度信息。

步骤204中所述的管理模块先调用物理模拟模块对所传送的三维场景信息进行物理模拟运算时，将所传送的三维场景信息分为房屋建筑物、活动物体类和路桥类信息；

其中所述管理模块调用物理模拟模块对房屋建筑物信息进行物理模拟运算时，其物理模拟运算过程包括以下步骤：

(a)从所传送的房屋建筑物信息中获取被处理房屋建筑物的相关结构参数；

(b)根据所获取的被处理房屋建筑物的相关结构参数，计算从空间上包围所述被处理房屋建筑物的包围盒尺寸；

(c)计算所述被处理房屋建筑物的三维位置坐标信息；

(d)将获取并计算得出的被处理房屋建筑物的相关结构参数、包围盒尺寸和三维位置坐标信息同步传送至三维视景模块；

所述管理模块调用物理模拟模块对路桥类信息进行物理模拟运算时，其物理模拟运算过程包括以下步骤：

(I)从所传送的路桥类信息中获取被处理路桥的相关结构参数，并将所述被处理路桥分成多个空间三角形；

(II)计算所述被处理路桥的顶点个数和组成所述被处理路桥的空间三角形个数；

(III)获取步骤(II)中所述被处理路桥的所有顶点信息和组成所述被处理路桥的所有空间三角形信息；

(IV)根据步骤三中所获取的所有顶点信息和组成所述被处理路桥的所有空间三角形信息，建立所述被处理路桥的mesh网格；

(V)计算所述被处理路桥的三维位置坐标信息；

(VI)将步骤(IV)中所建立被处理路桥的mesh网格数据和步骤(V)中所计算得出的被处理路桥的三维位置坐标信息同步传送至三维视景模块。

上述步骤204中所述的管理模块先调用物理模拟模块对所传送的车辆信息进行物理模拟运算时，其物理模拟运算过程包括以下步骤：

(i)从所传送的车辆信息中获取被处理车辆的相关结构参数；

(ii)根据所获取的被处理车辆的相关结构参数，计算从空间上包围所述被处理车辆的包围球半径；

(iii)计算所述被处理车辆的三维位置坐标信息；

(iv)根据步骤(i)中所获取的被处理车辆的相关结构参数，计算所述被处理车辆的重心；

(v)设置被处理车辆的质量和发动机相关工作参数；

(vi)将获取并计算得出的被处理车辆的相关结构参数、包围球半径、三维位置坐标信息、质量和发动机相关工作参数同步传送至三维视景模块。

本发明与现有技术相比具有以下优点：

1、硬件设备简单且投入成本非常低。

2、设计新颖，采用标定纸进行标定控制且采用摄像头作为信息交互手段，可以准确并真实的控制虚拟汽车，达到模拟驾驶的目的，具体是通过摄像头读取标定纸上的信息且配合摄像头进行信息交互，实现对虚拟汽车进行模拟驾驶。

3、标定纸结构简单，加工制作方便，只需在一张普通卡片上打印出相应所需的几个控制信息图案即可，本发明中所使用的标定纸具体设计为包括档位、转向、鸣笛、刹车和倒车五种信息的卡片，以控制汽车相应的运动。

4、虚拟驾驶效果好且使用操作简便，本发明为基于摄像头的虚拟汽车驾驶系统，可以通过在现实环境中对标定纸的操控驾驶虚拟汽车。

5、选用标定纸作为车辆的模拟“驾驶室”，较需要额外硬件设备的汽车模拟驾系统来说价格十分低廉，而且具有便于携带的优点；较纯软件的汽车模拟驾驶系统来说提高了汽车模拟驾驶的可操作性。

6、利用混合现实中增强现实的技术对摄像头获取的标定纸信息识别后传递，物理模拟引擎部分具体是物理模拟模块模拟汽车的物理碰撞效果，并将以上信息在虚拟的三维场景中实时显示出来。

综上所述，本发明设计新颖合理、投资成本低、使用操作简便且虚拟驾驶效果好、可操作性强，其综合了常见模拟驾驶中各种驾驶方式的利弊，提出了一种全新的模拟驾驶方式，具体是通过一个摄像头和打印出的一张标定纸在现实环境中对标定纸进行操控，同时经摄像头获取信息并传递至PC机，达到控制虚拟汽车、实现模拟驾驶的目的，因而本发明以摄像头为交互方式，通过在现实环境中对虚拟汽车的操控达到模拟驾驶的目的。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明虚拟汽车驾驶系统用标定纸的结构示意图。

图2为本发明虚拟汽车驾驶系统的硬件结构示意图。

图3为本发明虚拟汽车驾驶系统用控制器的工作原理图。

图4为本发明进行虚拟驾驶时的方法流程图。

图5为本发明进行视觉信息交互时的方法流程图。

图6为本发明中管理模块调用物理模拟模块对房屋建筑物信息进行物理模拟运算时的方法流程图。

图7为本发明中管理模块调用物理模拟模块对路桥类信息进行物理模拟运算时的方法流程图。

图8为本发明中管理模块调用物理模拟模块对车辆信息进行物理模拟运算时的方法流程图。

附图标记说明：

1-标定纸；          1-1-档位控制图案；    1-2-转向控制图案；

1-3-鸣笛控制图案；  1-4-刹车控制图案；    1-5-倒车控制图案；

2-摄像头；          3-PC机；              3-1-控制器；

3-11-管理模块；     3-12-三维视景模块；   3-13-变速控制模块；

3-14-鸣笛控制模块； 3-15-刹车控制模块；   3-16-倒车控制模块；

3-17-转向控制模块； 3-18-视觉交互模块；   3-19-物理模拟模块；

3-2-显示器；        3-3-鼠标；            3-4-键盘；

4-场景库；          5-车辆库。

具体实施方式

如图1、图2及图3所示，本发明所述的一种基于摄像头的虚拟汽车驾驶系统，包括上面绘制有多种供虚拟驾驶人员点触的车辆控制信息图案且能随意进行旋转操控的标定纸1、实时对标定纸1上车辆控制信息图案的状态信息进行摄取的摄像头2、与摄像头2相接且对摄像头2所摄取车辆控制信息图案的状态信息进行识别并进行相应分析处理的控制器3-1、与控制器3-1相接的参数设置单元和对控制器3-1的分析处理结果进行同步显示的显示器3-2，所述控制器3-1与显示器3-2相接，摄像头2布设在标定纸1上方。所述车辆控制信息图案包括绘制在标定纸1上的五种分别表示档位、转向、鸣笛、刹车和倒车的档位控制图案1-1、转向控制图案1-2、鸣笛控制图案1-3、刹车控制图案1-4和倒车控制图案1-5。

本实施例中，所述车辆控制信息图案的形状均为方形。所述参数设置单元为分别与控制器3-1相接的鼠标3-3和键盘3-4，且所述控制器3-1、显示器3-2、鼠标3-3和键盘3-4为组装为一体的PC机3。所述摄像头2布设在标定纸1侧上方。

并且所述档位控制图案1-1的数量为5个，且5个档位控制图案1-1分别代表5个不同的行车速度档位。所述转向控制图案1-2、鸣笛控制图案1-3、刹车控制图案1-4和倒车控制图案1-5的数量均为1个。所述转向控制图案1-2布设在标定纸1上部中央，所述5个档位控制图案1-1呈一竖排布设在标定纸1左侧，所述刹车控制图案1-4布设在标定纸1右侧，所述倒车控制图案1-5和鸣笛控制图案1-3一左一右布设在标定纸1下部。

如图4所示的一种基于摄像头的虚拟汽车驾驶方法，包括以下步骤：

步骤一、驾驶准备：首先，将标定纸1摆正并平整铺放在操作平台上；之后，启动控制器3-1并通过所述参数设置单元设定驾驶时所用的车辆类型及所处的三维场景类型，控制器3-1中的管理模块3-11再根据所设定的车辆类型和三维场景类型相应分别从预先建立的场景库4和车辆库5中调取对应的车辆信息和三维场景信息，同时管理模块3-11调用三维视景模块3-12通过显示器3-2对所调取的车辆信息和三维场景信息进行同步显示，此时转向控制图案1-2处于初始状态且所调用汽车的转角为0°。

步骤二、通过操控标定纸1，对步骤一中所调取的车辆进行虚拟驾驶，并相应实现对所调取并驾驶的车辆进行变速、鸣笛、转向、刹车和倒车控制，其虚拟驾驶过程如下：

201、标定纸1操控：标定纸1的操控主要包括点触分别绘制在标定纸1上的档位控制图案1-1、鸣笛控制图案1-3、刹车控制图案1-4和倒车控制图案1-5以及左右旋转标定纸1五种操控模式。

202、视觉信息获取：摄像头2实时摄取车辆控制信息图案的状态信息并将所摄取的状态信息同步上传至控制器3-1。本实施例中。所述摄像头2实时摄取车辆控制信息图案的状态信息时，所摄取并上传至控制器3-1的状态信息为档位控制图案1-1、鸣笛控制图案1-3、刹车控制图案1-4或倒车控制图案1-5是否被遮盖的信息和标定纸1是否被左右旋转以及标定纸1左右旋转的角度信息。

203、视觉信息交互：控制器3-1中的管理模块3-11调用视觉交互模块3-18对摄像头2所传送的状态信息进行捕捉和识别处理，并将识别处理结果即控制信息同步传送至管理模块3-11。

结合图5，本实施例中，管理模块3-11调用视觉交互模块3-18对摄像头2所传送的状态信息进行捕捉和识别处理的过程如下：首先视觉交互模块3-18调用视频捕捉函数对摄像头2所摄取的视频信号即状态信息进行捕捉，之后再管理模块3-11调用信息识别函数对所捕捉的视频信号进行信号识别。

204、驾驶控制：所述管理模块3-11根据视觉交互模块3-18所传送的控制信息相应分别调用变速控制模块3-13、鸣笛控制模块3-14、刹车控制模块3-15、倒车控制模块3-16和转向控制模块3-17对所调取并驾驶的车辆进行变速控制、鸣笛控制、刹车控制、倒车控制和转向控制；驾驶控制过程中，管理模块3-11将所述控制信息以及步骤一中所调取的车辆信息和三维场景信息同步传送至物理模拟模块3-19和三维视景模块3-12，管理模块3-11先调用物理模拟模块3-19根据所传送的控制信息对所传送的车辆信息和三维场景信息进行物理模拟运算，并将物理模拟运算结果同步传送至三维视景模块3-12；之后，管理模块3-11再调用三维视景模块3-12对物理模拟模块3-19所传送的物理模拟运算结果同步进行分析处理与显示并根据所传送的控制信息对物理模拟运算后的车辆信息和三维场景信息进行实时更新，实现通过三维视景模块3-12对驾驶控制过程中的车辆运行状态及周边三维场景进行动态及直观显示的目的。

结合图6和图7，所述管理模块3-11先调用物理模拟模块3-19对所传送的三维场景信息进行物理模拟运算时，将所传送的三维场景信息分为房屋建筑物、活动物体类和路桥类信息；

其中所述管理模块3-11调用物理模拟模块3-19对房屋建筑物信息进行物理模拟运算时，其物理模拟运算过程包括以下步骤：

(a)从所传送的房屋建筑物信息中获取被处理房屋建筑物的相关结构参数；

(b)根据所获取的被处理房屋建筑物的相关结构参数，计算从空间上包围所述被处理房屋建筑物的包围盒尺寸；

(c)计算所述被处理房屋建筑物的三维位置坐标信息；

(d)将获取并计算得出的被处理房屋建筑物的相关结构参数、包围盒尺寸和三维位置坐标信息同步传送至三维视景模块3-12。

所述管理模块3-11调用物理模拟模块3-19对路桥类信息进行物理模拟运算时，其物理模拟运算过程包括以下步骤：

(I)从所传送的路桥类信息中获取被处理路桥的相关结构参数，并将所述被处理路桥分成多个空间三角形；

(II)计算所述被处理路桥的顶点个数和组成所述被处理路桥的空间三角形个数；

(III)获取步骤(II)中所述被处理路桥的所有顶点信息和组成所述被处理路桥的所有空间三角形信息；

(IV)根据步骤三中所获取的所有顶点信息和组成所述被处理路桥的所有空间三角形信息，建立所述被处理路桥的mesh网格；

(V)计算所述被处理路桥的三维位置坐标信息；

(VI)将步骤(IV)中所建立被处理路桥的mesh网格数据和步骤(V)中所计算得出的被处理路桥的三维位置坐标信息同步传送至三维视景模块3-12。

结合图8，所述管理模块3-11先调用物理模拟模块3-19对所传送的车辆信息进行物理模拟运算时，其物理模拟运算过程包括以下步骤：

(i)从所传送的车辆信息中获取被处理车辆的相关结构参数；

(ii)根据所获取的被处理车辆的相关结构参数，计算从空间上包围所述被处理车辆的包围球半径；

(iii)计算所述被处理车辆的三维位置坐标信息；

(iv)根据步骤(i)中所获取的被处理车辆的相关结构参数，计算所述被处理车辆的重心；

(v)设置被处理车辆的质量和发动机相关工作参数；

(vi)将获取并计算得出的被处理车辆的相关结构参数、包围球半径、三维位置坐标信息、质量和发动机相关工作参数同步传送至三维视景模块3-12。

综上，所述控制器3-1中主要设置有管理模块3-11、三维视景模块3-12、物理模拟模块3-19、视觉交互模块3-18以及变速控制模块3-13、鸣笛控制模块3-14、刹车控制模块3-15、倒车控制模块3-16和转向控制模块3-17。实际使用过程中，所述管理模块3-11、三维视景模块3-12、物理模拟模块3-19、视觉交互模块3-18四个模块相互独立且信息数据在上述四个模块之间相互传递。具体而言：所述视觉交互模块3-18负责系统中视频信号即标定纸1上控制信息的获取与识别，管理模块3-11管理各种数据运行及各模块间的协调工作，物理模拟模块3-19模拟虚拟汽车及三维场景的物理特性，包括汽车的物理参数、碰撞检测等，三维视景模块3-12负责三维场景信息及车辆信息的实时显示。实际工作时，摄像头2首先将所摄取的状态信息数据即控制信息传递给视觉交互模块3-18，视觉交互模块3-18再对传递来的控制信息进行获取与识别后传递给管理模块3-11，管理模块3-11相应从场景库4中读取场景信息并从车辆库5中读取车辆信息且将所读取的场景信息和车辆信息同视觉交互模块3-18传递来的控制信息一起传递给物理模拟模块3-19和三维视景模块3-12，物理模拟模块3-19进行物理模拟运算后，将物理模拟运算结果也传递到三维视景模块3-12，三维视景模块3-12接收从管理模块3-11和物理模拟模块3-19传递来的信息后，在显示器3-2的显示窗口中动态、直观地显示车辆运行状态及周边三维场景。

所述视觉交互模块3-18对标定纸1的状态信息进行识别时，当驾驶人员手指遮盖住标定纸1左侧竖向排列且分别表示五个行车速度档位的五个方框中某一个方框即档位控制图案1-1时，摄像头2对此时的视频信息进行摄取且视觉交互模块3-18同时对此时摄像头2所摄取的视频信息进行捕捉与识别(具体识别时，视觉交互模块3-18将所识别出的某一方框被遮盖的数据信息传送至管理模块3-11，管理模块3-11对所接收的数据信息分析处理并与预先设定的速度信息相比较，调出预先设定的该遮盖方框所对应的预设速度数值)并相应识别出对应的操作指令，此时管理模块3-11相应通过物理模拟模块3-19对汽车的物理引擎部分参数进行自动调整，实现以此控制指令来控制所驾驶汽车行车速度的目的。所述标定纸1上的转向控制图案1-2即“Wheel”方框表示的是汽车的方向盘，定义系统初次识别到标定纸1时“Wheel”方框的转角为0度，标定纸1在平面上转动时会产生角度差，此时视觉交互模块3-18对摄像头2所摄取的标定纸1的转向及转动角度进行识别后传送至管理模块3-11，管理模块3-11再根据计算出的角度差值即转动角度数值设置所驾驶汽车的转角，从而实现汽车转向。所述标定纸1上的“S”方框即鸣笛控制图案1-3表示鸣笛，同理，当遮盖住此方框后，管理模块3-11根据视觉交互模块3-18的识别结果，相应自动调用播放声音文件进行鸣笛。所述标定纸1上的图中的“B”方框即刹车控制图案1-4表示刹车，当遮盖住此方框后，管理模块3-11根据视觉交互模块3-18的识别结果相应通过物理模拟模块3-19对所驾驶汽车的物理引擎部分参数进行自动调整，为汽车施加一作用力，使汽车的速度逐渐减小为0，从而实现汽车停止运动。所述标定纸1上的“R”方框即倒车控制图案1-5表示倒车，同理，当遮盖住此方框后，管理模块3-11根据视觉交互模块3-18的识别结果，相应通过物理模拟模块3-19对汽车的物理引擎部分参数进行自动调整，使汽车的行车速度负向增加，从而实现汽车进行反方向运动。

综上所述，本发明通过摄像头2获取标定纸1上的标定信息即控制信息后，再相应通过视觉交互模块3-18识别出相应的操作指令，之后管理模块3-11根据此操作指令指令计算虚拟汽车的车速、转向角度等控制参数，并将计算得出的控制参数传递到物理模拟模块3-19和三维视景模块3-12，物理模拟模块3-19接收到上述控制参数后对汽车的物理引擎部分参数进行相应调整并对应控制所驾驶汽车做相应的运动，并且物理模拟模块3-19将此运动结果传递到三维视景模块3-12中，就形成了对虚拟汽车的整体模拟驾驶过程。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。