驾驶员行车动态视觉感知仿真方法

摘要

本发明涉及道路交通领域。提供一种驾驶员行车动态视觉感知仿真方法，提供一种通用的驾驶员行车动态视觉感知仿真框架，为达到上述目的，本发明采取的技术方案是，一种驾驶员行车动态视觉感知仿真方法，采用如下步骤构建行车视觉感知智能体仿真框架进行仿真：采用行车视距范围内的交通流密度表示交通状况；在满足禁忌规则前提下按照p邻域规则反复迭代得到交通场景眼动搜索规则；采用上述规则、交通状况描述构建行车视觉感知智能体仿真框架进行仿真。本发明主要应用于驾驶员行车动态视觉感知仿真。

说明书

技术领域

本发明涉及道路交通领域，具体讲，涉及驾驶员行车动态视觉感知仿真方法。

背景技术

驾驶员行车中的视觉感知受到很多因素的影响，以往研究均是针对特定场景进行的感知 模拟和评价，没有一个能在多数交通条件下通用的仿真框架。

发明内容

本发明旨在解决克服现有技术的不足，提供一种驾驶员行车动态视觉感知仿真方法，提 供一种通用的驾驶员行车动态视觉感知仿真框架，为达到上述目的，本发明采取的技术方案 是，一种驾驶员行车动态视觉感知仿真方法，采用如下步骤构建行车视觉感知智能体仿真框 架进行仿真：

采用行车视距范围内的交通流密度表示交通状况，则t时刻感知的交通拥堵程度p(x，t)可 表示为：

$p(x,t)=\underset{s=1}{\overset{S\left(l\right)}{\Sigma }}\omega (l,s)d\left(l\right)\rho [r(l,x)+\mathrm{sd}\left(l\right),l,t,d\left(l\right)]/\underset{l=1}{\overset{L\left(x\right)}{\Sigma }}v[r(l,x),l]$

L(x)表示x点所在路段位置的车道数，

r(l，x)表示车道l对应于车辆所在点x的左视(或右视)参照点，如果车道l为点x所在车 道，则r(l，x)＝x；

v[r(l，x)，l]表示车道l上r(l，x)位置的视距；

s(l)表示将车道l上视距均分后的距离数量；

d(l)表示车道l上视距长度离散之后的距离长度，d(l)＝v(x，l)/s(l)；

ω(l，s)表示车道l视距离散后第s段所占本车道交通拥堵感知的权重，s越大，ω(l，s)越小；

ρ[r(l，x)+sd(l)，l，t，d(l)]表示t时刻车道l在位置[r(l，x)+(s-1)d(l)，r(l，x)+sd(l)]范围内的 交通流密度；

令表示t时刻道路位置x的交通拥堵显著度，则

在满足禁忌规则前提下按照p邻域规则反复迭代得到交通场景眼动搜索规则：设置禁忌规 则R_s：如果点在N_J代被选择作为当前焦点，则在N_O代内不能进行选择，得到如下交通场景 视线搜索规则：

1)在交通标志、场景的感知特征中，采用HSV模型，对人类色彩感知进行模拟，HSV是 Hue，Saturation，Value的字头缩写，表示色调、饱和度和亮度；采用Itti模型对交通场景进 行P根据特征进行显著性提取，得到融合后的综合交通场景显著图P_S；

2)令η_d表示P_S中焦点显著区域干扰噪声阈值，S_d表示P_S中焦点显著度阈值，提取P_S中 满足条件的区域a_i，使得|S₂(v_i)-S₂(v_j)|≤η_d，S₂(v_i)≥S_d或S₂(v_j)≥S_d，v_i，v_j∈a_i，S₂(v_i)、 S₂(v_j)表示点v_i，v_j的显著度；

3)计算其中表示区域a_i的平均显著度，|a_i|表示区域a_i中包含 的点的数量；

4)令ρ_e表示交通场景显著图P_S中的最初视线关注焦点范围阈值，将P_S中显著区域a_i根 据平均显著从高到低进行排序，选择P_S中显著度最大的个显著区域，表示 对ρ_e|a_i|进行向上取整；令这个点组成的集合为E_s；

5)令x_s(v_i，v_j)表示点v_i，v_j之间的邻域选择标准，随机选择点v_k∈E_s，此时v_k为场景当前 焦点；

6)对v_k进行p邻域操作，在得到的N₃(v_k，E_s)，场景p邻域为把与某视觉焦点v_k最相邻的 在集合E_s中p个视觉焦点称为v_k的p邻域，用符号N₃(v_k，E_s)表示，p＝3，随机选择 v_h∈N₃(v_k，E_s)，在满足禁忌规则前提下按照p邻域规则反复迭代，即得到了模拟的交通场景 视线搜索规则；

采用上述规则、交通状况描述构建行车视觉感知智能体仿真框架进行仿真。

从原始RGB，RGB表示Red，Green，Yellow，红绿黄，图像到HSV，模型有一个转换关系， 采用如下算法加以实现：

RGB转化到HSV的算法：

max＝max(R，G，B)；

min＝min(R，G，B)；

if R＝max，H＝(G-B)/(max-min)；其中H表示图像在HSV模型中的色调值；

if G＝max，H＝2+(B-R)/(max-min)；

if B＝max，H＝4+(R-G)/(max-min)；

H＝H*60；

If H＜0.H＝H+360；

V＝max(R，G，B)；其中V表示图像在HSV模型中的亮度值；

S＝(max-min)/max。其中S表示图像在HSV模型中的饱和度值。

禁忌规则为：人类视觉一旦注意过一个物体后，就会对该物体产生抑制作用，在视觉搜 索时被注意过的物体将不会再引起视觉的注意，采用从竞争网络到兴趣图的抑制性负反馈： 获胜单元一旦产生，竞争网络瞬间发出一个脉冲，兴趣图于是接收到一个输入，该输入的空 间分布类似于差分高斯函数，抑制中心就在获胜单元的目标，这时，获胜的目标将被屏蔽， 该部分对应于把注意的一个目标上解除，此后，注意焦点转向其他较为显著的物体。

邻域规则为：采用p邻域对场景焦点进行构建，场景p邻域为把与某视觉焦点v最相邻 的在集合A中p个视觉焦点称为v的p邻域，用符号N_p(v，A)表示。

所述步骤细化为：

采用所述行车视觉感知智能体仿真框架，对交通标志视觉感知建立智能体进行仿真，主 要参数如下表1所示：

表1主要仿真参数列表

  序号   参数   取值   意义   1   η_d  0.02   焦点显著区域干扰噪声阈值   2   S_d  0.35   焦点显著度阈值   3   x_s  距离   邻域选择标准   4   p   3   p邻域   5   N_O  4   焦点选择禁忌代数   6   ρ_e  0.2   最初视线关注焦点范围阈值

采用Facelab眼动仪器对对应场景中的眼动轨迹进行模拟。

本发明的技术特点及效果：

本发明通过对驾驶员行车视觉感知特征和视线轨迹进行描述，建立了驾驶员行车视觉感 知智能体，可用来仿真不同交通条件下驾驶员的视觉感知行为，进而可用来评价不同交通设 计方案的优劣。

附图说明

图1交通拥堵感知计算。

图2交通诱导场景原始图像。

图3交通诱导场景显著性融合图像。

图4行车视觉感知智能体仿真框架。

图5渤海10号路实景。

图6距离交通标志125米场景图像。

图7距离交通标志75米场景图像。

图8距离交通标志50米场景图像。

图9距离交通标志25米场景图像。

图10设置交叉口指路标志的交通俯瞰图。

图11车辆距离交通标志25米时的显著特征图。图中：

a颜色显著图；b饱和度显著图；c方向显著图；d特征融合显著图。

图12车辆距离交通标志50米时的显著特征图。图中：

a颜色显著图；b饱和度显著图；c方向显著图；d特征融合显著图。

图13对原交通标志不同位置的模拟场景图。图中：

a距离原交通标志位置125米场景图像；b距离原交通标志位置75米场景图像；

c距离原交通标志位置50米场景图像；d距离原交通标志位置25米场景图像。

图14不设置交叉口指路标志的交通俯瞰图。

图15车辆距离交通标志25米的静态特征显著性图。图中：

a颜色显著图(无标志)；b饱和度显著图(无标志)；

c方向显著图(无标志)；d特征融合显著图(无标志)。

图16车辆距离交通标志50米的静态特征显著性图。图中：

a颜色显著图(无标志)；b饱和度显著图(无标志)；

c方向显著图(无标志)；d特征融合显著图(无标志)。

图17设置标志条件下25米处驾驶员视线模拟轨迹。

图18不设置标志条件下25米处驾驶员视线模拟轨迹。

图19Facelab模拟的驾驶员视线轨迹(有标志)。

图20Facelab模拟的驾驶员视线轨迹(无标志)。

图21驾驶员视线模拟准确度(有标志)。

图22驾驶员视线模拟准确度(无标志)。

具体实施方式

5.1驾驶员行车视觉感知模型

5.1.1驾驶员行车场景色彩感知模型

5.1.1.1Itti视觉模拟模型

Itti视觉模拟模型是基于神经生物学框架的一种视觉计算模型，Itti模型采用自下向上 (bottom-up)的机制，主要基于Koch的框架和Treisman的特征整合理论，对输入图像提取 朝向、亮度等初级视觉特征，形成各个特征维的显著图。然后，基于非均匀采样的方式，采 用多特征图合并策略对这些不同特征维的显著图进行融合，形成一幅最终的显著图。根据显 著图，可以得到一系列待注意的目标。各目标通过注意转移的禁止返回(inhibition of  return)机制和胜者为王(winnner-takes-all)的竞争机制吸引注意焦点，并使得各个注意 焦点在各个待注意的目标之间以一定的原则转移。Itti视觉模拟模型对输入图形提取多方面 的特征，如颜色、朝向、亮度、运动等，形成各个特征维上的显著图；然后对这些显著图进 行分析、融合得到兴趣图，兴趣图中可能含有多个待注意的的候选目标，通过竞争机制选出 唯一的注意目标。Itti视觉模拟模型描述了在无先验信息指导情况下图像自身特质对人腿的 刺激程度，是基于bottom-up机制的最著名的模型，目前已应用到多个方面。

5.1.1.2交通场景静态特征的提取

1)RGB模型、HSV模型及与交通标志颜色感知的关系

视觉研究表明，人类眼睛视网膜通过三种可见光的刺激来感知颜色，当这些光的波长为 630、530和450纳米的时候对人类视觉的刺激达到顶峰，而这三种波长代表的颜色分别是红、 绿和蓝。人类视觉感知就是通过比较各种可见光的刺激强度来感受光的颜色的，即使用红、 绿、蓝三种基色来表示视觉感知的模型，称之为RGB模型。

HSV(Hue，Saturation，Value)彩色模型由A.R.Smith于1978年创建的，它是符合人类 视觉特性的一种颜色模型。HSV模型的三维表示从RGB立方体演化而来。设想沿立方体对 角线的白色顶点向黑色顶点观察，就可以看到立方体的六边形外形。六边形边界表示色彩(H 轴)，水平轴表示饱和度(S轴)，亮度(V轴)沿垂直轴测量。H参数表示色彩信息，即 所处的光谱颜色的位置。该参数用一角度量来表示，红、绿、蓝分别相隔120度。互补色分 别相差180度。饱和度s为一比例值，范围从0到1，它表示成所选颜色的饱和度和该颜色最 大的饱和度之间的比率。S＝0时，只有灰度。V表示色彩的明亮程度，范围从0到1。HSV 色彩模型与人眼能够感知的颜色特性一一对应。这种颜色模型用Munsell三维空间坐标系统 表示，由于坐标之间具有心理感知独立性，它可以独立感知各颜色分量的变化，而且出于这 种颜色具有线性伸缩性，其可感知的颜色差是与颜色分量相应样值上的欧几里德距离成比例 的，因此适合人类的肉眼判断。同时也由于HSV模型对应于画家配色模型，其能较好反映人 对色彩的感知和鉴别能力，非常适合基于色彩的图像相似性比较，因此常采用该颜色模型来 进行彩色图像分割。

在交通标志的感知特征中，颜色是其中非常重要的感知分量，本发明对交通标志的动态 视认性进行研究，模拟人类视觉看到的图像时，采用录像的方式获得原始图象，此时图象为 采用RGB模型进行的表示，然后转化为HSV模型，对人类色彩感知进行模拟，以得到更加符 合真实情况的交通标志颜色感知分量。本报告采用交通标志色彩比率及色度比率来表示交通 标志中颜色分量。

2)RGB模型与人类视觉感知模型的转换

从原始RGB图像到HSV模型有一个转换关系，采用如下算法加以实现：

RGB转化到HSV的算法：

max＝max(R，G，B)；

min＝min(R，GB)；

if R＝max，H＝(G-B)/(max-min)；

if G＝max，H＝2+(B-R)/(max-min)；

if B＝max，H＝4+(R-G)/(max-min)；

H＝H*60；

IfH＜0.H＝H+360；

V＝max(R，G，B)；

S＝(max-min)/max；

5.1.2行车交通状况感知描述

实际行车中，车辆所在的环境对行车注意力的影响很大，其中最大的因素为交通状况， 采用行车视距范围内的交通流密度表示交通状况，则t时刻感知的交通拥堵程度p(x，t)可表示 为：

$p(x,t)=\underset{s-1}{\overset{S\left(l\right)}{\Sigma }}\omega (l,s)d\left(l\right)\rho [r(l,x)+\mathrm{sd}\left(l\right),l,t,d\left(l\right)]/\underset{l-1}{\overset{L\left(x\right)}{\Sigma }}v[r(l,x),l]$

L(x)表示x点所在路段位置的车道数，

r(l，x)表示车道l对应于车辆所在点x的左视(或右视)参照点，如果车道l为点x所在车 道，则r(l，x)＝x；

v[r(l，x)，l]表示车道l上r(l，x)位置的视距；

s(l)表示将车道l上视距均分后的距离数量；

d(l)表示车道l上视距长度离散之后的距离长度，d(l)＝v(x，l)/s(l)；

ω(l，s)表示车道l视距离散后第s段所占本车道交通拥堵感知的权重，s越大，ω(l，s)越小；

ρ[r(l，x)+sd(l)，l，t，d(l)]表示t时刻车道l在位置[r(l，x)+(s-1)d(l)，r(l，x)+sd(l)]范围内的 交通流密度；

令表示t时刻道路位置x的交通拥堵显著度，则

5.2行车视线轨迹描述

研究表明，人类视觉一旦注意过一个物体后，就会对该物体产生抑制作用，在视觉搜索 时被注意过的物体将不会再引起视觉的注意，这种机制被称为注意的禁止返回机制，它对应 于人类视觉的短时记忆功能。视觉系统需要足够的停留时间来完成一次视觉选择的任务，它 是注意指向一个区域后又从该区域移开引起的，它将会延迟注意的响应时间，具体的延迟情 况取决于辨别物体的难易程度。禁止返回一般会持续几秒钟。由于待注意物体在所有参与竞 争的物体中总是最显著的，在竞争中总是会获得胜利，所以如果没有特定的控制机制，注意 焦点将恒定的指向同一物体，其他物体就不会获得被注意的机会。为避免这种情况，Kouch 和Ullman设计了从竞争网络到兴趣图的抑制性负反馈。获胜单元一旦产生，竞争网络瞬间发 出一个脉冲，兴趣图于是接收到一个输入，该输入的空间分布类似于差分高斯函数，抑制中 心就在获胜单元的目标。这时，获胜的目标将被屏蔽，该部分对应于把注意的一个目标上解 除。此后，注意焦点转向其他较为显著的物体。

5.2.1交通场景眼动搜索邻域的构建

采用p邻域对场景焦点进行构建。场景p邻域为把与某视觉焦点v最相邻的在集合A中p 个视觉焦点称为v的p邻域，用符号N_p(v，A)表示。如图所示：图2为交通诱导场景原始图像， 图3为交通诱导场景通过显著性融合图，在图2中的最显著的是如图3所示的6个焦点，则 A＝{v₁，v₂，v₃，v₄，v₅，v₆}，如果设p＝3，且以焦点之间的距离作为邻域选择标准，则 N₃(v₅，A)＝{v₂，v₃，v₆}。

5.2.2交通场景眼动搜索规则

本文交通场景眼动搜索规则在满足禁忌规则前提下按照p邻域规则反复迭代得到。设置 禁忌规则R_s：如果点在N_J代被选择作为当前焦点，则在N_O代内不能进行选择，得到如下交 通场景视线搜索规则：

1)将交通场景P根据特征进行显著性提取，得到融合后的综合交通场景显著图P_S；

2)令η_d表示P_S中焦点显著区域干扰噪声阈值，S_d表示P_S中焦点显著度阈值，提取P_S中 满足条件的区域a_i，使得|S₂(v_i)-S₂(v_j)|≤η_d，S₂(v_i)≥S_d或S₂(v_j)≥S_d，v_i，v_j∈a_i，S₂(v_i)、 S₂(v_j)表示点v_i，v_j的显著度；

3)计算其中表示区域a_i的平均显著度，|a_i|表示区域a_i中包 含的点的数量；

4)令ρ_e表示交通场景显著图P_S中的最初视线关注焦点范围阈值，将P_S中显著区域a_i根 据平均显著从高到低进行排序，选择P_S中显著度最大的个显著区域，表示 对ρ_e|a_i|进行向上取整；令这个点组成的集合为E_s；

5)令x_s(v_i，v_j)表示点v_i，v_j之间的邻域选择标准，随机选择点v_k∈E_s，此时v_k为场景当前 焦点；

6)对v_k进行p邻域操作，在得到的N₃(v_k，E_s)，随机选择v_h∈N₃(v_k，E_s)，在满足禁忌规 则前提下按照p邻域规则反复迭代，即得到了模拟的交通场景视线搜索规则。

5.3视觉感知智能体构建

基于上述模型，构建行车视觉感知智能体仿真框架如图4所示。

5.4行车视觉感知仿真实验

设置港区道路模拟场景，场景中的渤海10号路为双向8车道，4块板道路，在距离交叉 口200米区域有一交通指路标志，指示左转、直行和右转道路分别为黄河道、海滨大道及辽 河道。图5为渤海1号路实景照片。

本仿真实验对渤海10号路交叉口上游交通指路标志对车辆视觉感知的影响进行仿真，通 过在模拟场景中设置和取消该标志条件下，采用本文方法对驾驶员视觉感知特征进行仿真， 并与模拟场景下的驾驶员视线轨迹进行对比，证明本文模型的有效性，并分析焦点转移规律 与交通场景的映射关系。

5.4.1设置交叉口指路标志的视觉感知特征提取

图6-9为距离交通标志125米、75米、50米和25米的模拟场景图，图10为前方交叉口 三维虚拟现实模拟全景图。

采用Itti模型对交通场景进行提取，得到上述4副场景图中的颜色特征显著图，图11-12 为带有交通标志模拟场景中，车辆距离交通标志25米和50米时的8副静态特征显著性图。

5.4.2不设置交叉口指路标志的视觉感知特征提取

图13为相对原交通标志125米、75米、50米和25米的模拟场景图，图14为前方交叉 口三维虚拟现实模拟全景图。

采用Itti模型对交通场景进行提取，得到上述4副场景图中的颜色特征显著图，图15-16 为不设置交通标志模拟场景中，车辆距离交通标志25米和50米时的8副静态特征显著性图。

5.4.3交通标志视觉感知仿真结果及分析

采用上述模型，对交通标志视觉感知建立智能体进行仿真，主要参数如下表1所示。

表1主要仿真参数列表

  序号   参数   取值   意义   1   η_d  002   焦点显著区域干扰噪声阈值   2   S_d  035   焦点显著度阈值

  3   x_s  距离   邻域选择标准   4   p   3   p邻域   5   N_O  4   焦点选择禁忌代数   6   ρ_e  0.2   最初视线关注焦点范围阈值

采用Facelab眼动仪器对对应场景中的眼动轨迹进行模拟，得到如图17-22和表2-3所示 的模拟结果。

表2驾驶员视线模拟与实验结果(有标志)

表3驾驶员视线模拟与实验结果(无标志)

由以上仿真结果可知：

1)通过本发明提出的方法，视觉感知焦点模拟的准确度较高，在有交通标志场景下的焦 点位置平均准确度为60.93％，在无交通标志场景下的平均准确度为56.27％，这说明本发明能 够较为精确的确定驾驶员在行车过程中的关注点，这对交通标志、标线、控制信号等的设置 位置优化有一定的价值。

2)由上述仿真实验结果可知，视觉感知焦点停驻时间准确度和轨迹准确度相对较低，在 由交通标志场景下分别为53.02％和47.10％，在无交通标志场景下分别为51.00％和44.50％， 这说明本模型在模拟驾驶员感知的动态规律方面还有一定的提升空间。

3)视觉感知焦点、焦点停驻时间和轨迹准确度三个指标，从整体上在，在有交通标志场 景下的准确度都高于无交通标志场景下的准确度。另外，在有交通标志场景中，标志视认效 果较佳的区域内(55-115m)，三个指标的准确度分别为70.79％、60.22％、53.04％，明显高于 平均水平，而在无交通标志场景中没有此规律。这一方面明驾驶员对此交通标志有明显的感 知，另一方面，说明本模型在确定的行车任务下，其模拟精度能大幅提升。