一种基于事件相关电位的跨个体通用型脑机接口方法

摘要

本发明公开了一种基于事件相关电位的跨个体通用型脑机接口方法，所述方法包括以下步骤：采用Farwell实验范式视觉诱发事件相关电位信号，并采集事件相关电位信号；对事件相关电位信号进行预处理，提取P300信号；利用集成的线性分类器组对跨个体字符识别率进行预测，并分析其识别效果。该集成分类器具有较好的跨个体识别效果，可以对未经训练的被试数据得到较为理想的预测效果，并在55名被试的大量样本中得到了证实。最佳实施方案拟采用专利转让、技术合作或产品开发。该项发明可以用于控制外部设备、电子娱乐等领域，具有重要的研究意义与商业价值。

说明书

技术领域

本发明涉及脑机接口领域，尤其涉及一种基于事件相关电位的跨个体通用型脑机接口 方法。

背景技术

脑机接口(brain computer interface,BCI)是一种不依赖于外周神经和肌肉组织等常规 大脑输出通路的信息通道。脑机接口技术的研究初衷是为了给那些大脑完好但正常的神经 通路受损(如脊髓损伤SCI、肌萎缩性侧索硬化症ALS等)的患者提供一种重新与外界沟 通交流的途径，从多个方面帮助这些病患提高生活质量，例如：与外界交流通讯，使用人 工智能假体，对外部设备进行控制等。随着电子信息技术的快速发展，脑机接口技术的应 用得到了极大拓展，在神经康复领域之外的其他方面也表现出了潜在的应用价值，如生活 娱乐、军事、交通安全等领域。

传统的脑机接口多为个体特异性脑机接口(subject-dependent BCI，SDBCI)，新用户 在使用前，需要经过一段时间的校准过程，采集该用户的数据，用来建立只适合该用户自 身的特异性模型，因此系统通用性较差。较长时间的校准过程会耗费时间和精力，甚至会 降低后续实际使用过程中的效率。

发明内容

本发明提供了一种基于事件相关电位的跨个体通用型脑机接口方法，本发明与传统的 个体特异性脑机接口相比，可以减少甚至消除新用户对系统使用前的校准过程，在不过多 的牺牲正确率的前提下，极大地提高了系统的通用性能，更加符合用户实际的使用需求， 详见下文描述：

一种基于事件相关电位的跨个体通用型脑机接口方法，所述方法包括以下步骤：

采用Farwell实验范式视觉诱发事件相关电位信号，并采集事件相关电位信号；

对事件相关电位信号进行预处理，提取P300信号；

利用集成的线性分类器组对跨个体字符识别率进行预测，并分析其识别效果。

所述采用Farwell实验范式视觉诱发事件相关电位信号的步骤具体为：

刺激界面包含若干个常用字符，屏幕上的字符遵从行或列闪烁模式，字符点亮持续几 秒后开始行或列随机闪烁；每次行或列闪烁持续一段时间，被试者在每次目标字符出现时 在心里默数其被点亮的次数。

所述采集事件相关电位信号的步骤具体为：

采用40导脑电放大器，脑电采集软件Scan4.5，采样率为1000Hz，带宽为0.05-100Hz， 将每一导联的阻抗保持在5kΩ以下；共采集六个导联的信号，以左侧乳突为参考，右侧乳 突接地。

所述对事件相关电位信号进行预处理，提取P300信号的步骤具体为：

经过预处理的事件相关电位信号、P300信号以及噪声表示如下：

x_i(n)＝s(n)+n_i(n),i＝1,2,…N

其中，i表示不同的刺激试次，n表示该次记录中第n个采样值，每次记录共N个采 样值，x_i(n)为该次采集到的事件相关电位信号，n_i(n)为背景脑电噪声，s(n)表示想要得 到的真实P300信号；

将x_i(n)经过M次叠加平均，P300信号的估计表示如下：

$\hat{s}\left(n\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{x}_i\left(n\right)=s\left(n\right)+\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{n}_i\left(n\right).$

所述利用集成的线性分类器组对跨个体字符识别率进行预测的步骤具体为：

结合所有的子分类器可以得到一个效果强化的集成分类器，该模型f(x_k)写成：

$f\left(x_k\right)=\frac{1}{N}\underset{j=1}{\overset{N}{\Sigma }}\underset{i=1}{\overset{N}{\Sigma }}\mathrm{sgn}\left[d_{\mathrm{ij}}\left(x_k\right)\right];i,j,k\in \left(\begin{array}{c}{R}_1:i=j=k\\ R_2:i\ne j\ne k\end{array}\right)$

其中R₁代表SD空间，即训练样本来自同一被试者；R₂代表SI空间，即训练样本分 别来自不同的被试者，sgn是取符号函数；

利用模型对测试数据进行预测，得到预测的目标字符为：

C_r|c＝arg_r|cmax[f(x_k^r|c)]

其中，argmax表示寻找使f(x)达到最大值的参量值，r|c是使f(x_k)最大化所对应的行/ 列，行和列的交叉位置即预测得到的目标字符的位置，将预测字符与已知的目标字符对应， 判断分类器测试结果的正确与否。

本发明提供的技术方案的有益效果是：本发明设计了一种新颖的分类器建立方法，将 来自不同被试者的目标刺激脑电与非目标刺激脑电交叉建立子分类器，强化目标与非目标 对字符识别的作用，同时弱化个体的差异性，将多个子分类器集成为性能较强的分类器组， 该集成分类器具有较好的跨个体识别效果，可以对未经训练的被试数据得到较为理想的预 测效果，并在55名被试的大量样本中得到了证实。

附图说明

图1为一种基于事件相关电位的跨个体通用型脑机接口方法的流程图；

图2为刺激界面的示意图；

其中，a为提示目标字符；b为含有目标字符的行闪烁；c为空白阶段。

图3为刺激时序图；

图4为电极放置位置；

图5为分类器示意图；

其中，a为SI模型分类器示意图；b为SD模型分类器示意图。

图6为SI与SD字符识别正确率对比示意图；

图7为SI正确率分布示意图；

图8为SI与SD正确率差距分布示意图；

图9为SI模型和SD模型随待测被试数据加入的变化对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详 细描述。

事件相关电位(event-related potentials，ERP)是一种特殊的脑诱发电位，它通过赋予 刺激以特殊的心理意义，利用多种或多个刺激所引发，反映了大脑认知过程中的神经电生 理变化。P300是一种典型的ERP内源性成分，其幅值与刺激出现的可预测性相关，其潜 伏期和幅值的个体差异性较为明显，为通用脑机接口的建立带来了困难。由于基于P300 的BCI系统是非侵入式的，硬件设备具有便携式和廉价的优势，另外与基于其他型号的拼 写器相比，P300具有多指令，正确率较高等优点，是目前唯一一类可以应用到实验室之外。 因此，对于基于ERP的跨个体脑机接口的研究具有很重要的应用潜力。

跨个体脑机接口(subject-independent BCI，SIBCI)可以使新用户无需校准直接对系 统进行使用。对于越来越多的面向正常人开发的脑机接口应用来说，适用于大量用户的通 用脑机接口系统也更具有实际意义和商业价值。

如图1所示是本发明的系统流程图，用E-Prime软件编写刺激界面，通过电脑显示器 呈现刺激，视觉诱发被试者的ERP响应。离线采集被试者的ERP信号，存储于计算机， 经过预处理、特征提取、模式识别等阶段，得到数据分析结果。

101：采用Farwell实验范式视觉诱发事件相关电位信号(主要是P300信号)，并采 集事件相关电位信号；

实验部分共募集了55名被试(年龄：23.2±3.9，男38，女17)，所有被试的视力正 常或校正后正常，之前没有P300脑-机接口的使用经验。

刺激界面由电脑显示屏呈现，包含6*6个常用字符，如图2所示。实验过程中，被试 坐在距离显示器一米左右的椅子上，眼睛注视屏幕并按照提示完成相应任务。实验的刺激 时序图如图3所示，屏幕上的字符遵从传统的行或列闪烁模式，在每一轮(一个字符)的 开始，目标字符被点亮，提示被试者这一轮所要注视的目标，如图2a所示。字符点亮持续 5s后开始行或列随机闪烁。每次行或列闪烁的持续时间为100ms，如图2b所示，两次闪 烁之间的空白时长为75ms，如图2c所示。对于每一个目标字符需要完成10次重复闪烁， 每次闪烁包括6次行闪和6次列闪，因此在每个字符的轮次中，目标字符一共出现20次。 被试者的任务即在每次目标字符出现时在心里默数其被点亮的次数，该任务的目的在于使 被试者注意力集中，以便在目标刺激出现时诱发更大的P300信号。每名被试者需完成20 个字符的实验，对于不同的被试者来说，这20个字符的顺序是固定相同的。

采集事件相关电位信号所用的仪器为Neuroscan公司生产的40导脑电放大器 NuAmps，配合脑电采集软件Scan4.5，采样率为1000Hz，带宽为0.05-100Hz，通过实时多 导阻抗测量显示将每一导联的阻抗保持在5kΩ以下，以降低事件相关电位信号中的干扰 噪声。实验共采集Fz，Cz，Pz，PO7，PO8和Oz这六个导联的信号，以左侧乳突为 参考，右侧乳突接地，8个电极(Fz，Cz，Pz，PO7，PO8，Oz六个导联以及左右乳 突共八个电极)被固定在自制的电极帽上，电极位置如图4所示。

102：对事件相关电位信号进行预处理，提取P300信号；

在对事件相关电位信号进行特征提取和分类识别之前，首先对采集到的事件相关电位 原始信号进行一些预处理，其目的是为了减少事件相关电位信号中的伪迹，去除事件相关 电位信号中的噪声干扰，增强信噪比。

在预处理过程中，首先对事件相关电位信号进行40Hz的低通滤波，然后降采样至 200Hz，接下来再对其进行1到10Hz的带通滤波，依据奈奎斯特定理，最终将采样率降至 20Hz。这个过程中，低通滤波可以将无用的高频干扰信息去掉，带通滤波可以去除基线漂 移。而降低采样率可以在保证信息完整度的同时，减少数据量，从而提高后续的运算效率。 整个预处理的过程大大提高了事件相关电位信号的信噪比。

P300信号是一种具有严格锁时性的事件相关电位成分，对它的分析主要从时域波形本 身出发，相干平均算法是从强噪声背景下提取微弱信号最常用的方法之一，利用此方法可 以有效提取P300信号。

将经过预处理的事件相关电位信号、P300信号以及噪声表示如下：

x_i(n)＝s(n)+n_i(n),i＝1,2,…N           (1)

其中，i表示不同的刺激试次，n表示该次记录中第n个采样值，每次记录共N个采 样值，x_i(n)为该次采集到的事件相关电位信号(即原始信号)，n_i(n)为背景脑电噪声， s(n)表示想要得到的真实P300信号。将记录得到的事件相关电位信号经过M次叠加平均， P300信号的估计可以用如下公式表示：

$\hat{s}\left(n\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{x}_i\left(n\right)=s\left(n\right)+\frac{1}{M}\underset{i=1}{\overset{M}{\Sigma }}{n}_i\left(n\right)---\left(2\right)$

假设对于每个被试者而言各次记录的P300信号基本保持不变，而自发脑电和其他噪声 却是随机呈现，因此均值可视为零，即公式(2)中的第二项可为0

因此，经过相干平均处理后的P300信号的信噪比提高了倍。这样，在多次刺激 的叠加过程中，随机背景噪声相互抵消，与刺激有固定锁时关系的P300信号逐渐增强， 从而提取出较为明显的P300信号。采用相干平均法的优点主要是速度快，方法易于实现。

103：利用集成的线性分类器组对跨个体字符识别率进行预测，并分析其识别效果。

线性判别分析(Linear Discriminant Analysis，LDA)是一种应用于统计学，模式识别 和机器学习领域的经典算法。其基本思想是对本身难以分开的两类或多类样本来说，找到 一个最佳投影方向，该向量可使即待分类的样本经过在该投影向量的线性变换之后，类间 差异最大，类内差异最小。经过如此变换之后，不但可以降低原始数据特征的维数，还可 以改善对原始数据的分类效果。

LDA在基于P300的脑机接口领域中有着十分广泛的应用，且达到了令人满意的效果， 算法根据特征的重要性创建权重系数，即使信号变化越大的特征在分类中的作用越重要。

在之前的研究里，LDA分类器都是高度依赖个体的，训练样本和测试样本全都来自同 一名被试者，个体差异性的存在导致这些分类器有很强的特异性，这就极大的限制了基于 P300的脑-机接口的通用性能。而在本发明中，通过集成学习技术，将通用的ERP信息合 并，建立一个基于LDA子分类器的具有更强通用性的集成分类器。

集成算法将多个模型组合，以获得比任何一个成分模型都好的预测效果。区别于传统 的用同一名被试的数据进行训练，在建立子模型时，将来自不同被试的目标刺激ERP (tERPs)和非目标刺激ERP(nERPs)相互交叉建模，即所有用于训练模型的tERPs和 nERPs都分别来自不同的被试者，这样避免了传统建模方法中个体特异性的问题。虽然不 同个体的ERP信号会在潜伏期和幅值上有所差异，但tERPs和nERPs之间的区别是一致 的，而本方法中的每一个子模型都是基于tERPs和nERPs的区别而建立，这种区别正是字 符识别的关键依据，因此，这种建模方法更注重tERPs和nERPs之间的差异而弱化了个体 之间的ERP信号差异，能够更加有效的规避模型的个体特异性，将这些分类性能较弱的子 分类器集成在一起，同时对测试数据进行识别，以大多数子分类器的统一结果作为集成模 型的预测结果，大大提升了跨个体模型的通用性能。

具体来说，假设共有N名被试者，第i名被试者和第j名被试者之间的子分类器的决 策函数可以写成

d_ij(x_k)＝ω_ijx_k+b_ij i；j,k,＜N         (3)

其中，ω_ij是由第i名被试者的目标刺激样本和第j名被试者的非目标刺激样本依据 LDA算法训练得到的投影向量，b_ij是偏置项，x_k是来自第k名被试者的测试样本。因此对 于所有被试者的所有样本来说，一共建立了N*N个子分类器。

结合所有的子分类器可以得到一个效果强化的集成分类器，该模型f(x_k)可以写成

$f\left(x_k\right)=\frac{1}{N}\underset{j=1}{\overset{N}{\Sigma }}\underset{i=1}{\overset{N}{\Sigma }}\mathrm{sgn}\left[d_{\mathrm{ij}}\left(x_k\right)\right];i,j,k\in \left(\begin{array}{c}{R}_1:i=j=k\\ R_2:i\ne j\ne k\end{array}\right)---\left(4\right)$

其中R₁代表SD空间，即训练样本来自同一被试者；R₂代表SI空间，即训练样本分 别来自不同的被试者，sgn是取符号函数；

正如之前所介绍的，用这种方法实现了跨人模型的建立，从而削弱了个体差异性的影 响。

通常来讲，对于每一个目标字符的刺激呈现过程来说，每6次行闪烁和每6次列闪烁中会 分别有一次触发P300信号的产生，据此利用模型对测试数据进行预测，得到预测的目标 字符为：

C_r|c＝arg_r|cmax[f(x_k^r|c)]        (5)

其中，argmax表示寻找使f(x)达到最大值的参量值；r/c是使f(x_k)最大化所对应的行 /列，行和列的交叉位置即预测得到的目标字符的位置，将预测字符与已知的目标字符对应， 判断分类器测试结果的正确与否。应用10折交叉验证以保证分类正确率的稳定性和可靠 性。图5为分类器示意图，图(a)为SD模型，该模型由待测被试自己前一周的离线数据 建立而成，在在线实验中对该被试自己的实时数据进行预测。图(b)为SI模型，该模型 由除待测被试以外其余被试前一周的离线数据建立而成，子分类器分别由来自不同被试的 目标ERP和非目标ERP建立，这些子分类器组成集成LDA分类器，在线测试时SI模型 中不包含待测被试自身的信息。。

下面以具体的试验来验证本方法的可行性，详见下文描述：

对55名被试者整体的跨个体识别效果进行分析，图6显示了55名被试SD模型(被 试者自己的数据做训练，自己的数据做测试)与SI模型(其余被试者的数据做训练，被试 者自己的数据做测试)的识别效果对比。其中虚线代表SI模型的平均识别正确率，浅色阴 影区域为不同个体的标准偏差，实线表示SD模型的平均识别正确率，深色阴影表示不同 个体的标准偏差。从图6中可见，两种模型的预测正确率都随刺激重复次数(每6行6列 随机闪完称为一次重复)的增加而上升。与预想的结果一致，利用被试者个人的数据所建 模型的预测结果始终优于多名其他被试者数据所建的模型，具体地说，当刺激重复次数分 别为1次，5次和10次时，SD的结果分别为40.27％，86.45％和94.64％，而SI的结果分 别是34.91％，73.64％和86.64％。跨个体识别正确率的下降反映了ERP信号在个体之间存 在的差异性。另一方面，尽管跨人识别的正确率不及个体特异性模型的预测效果，但86％ 以上的平均正确率在某些应用中是足以被接受的，这意味着基于ERP的通用型脑-机接口 具有一定的可行性及研究价值。

虽然跨个体识别的平均正确率仅为86.64％，为了探究被试者的具体表现，进一步分析 每名被试者的结果并统计其正确率分布。图7的结果为SI模型的被试正确率分布图，可以 看到，在10次重复刺激下，正确率高于90％的被试已占到总人数的65.45％，20％的人正 确率虽然低于90％但也在70％以上，而结果低于70％的仅有14.55％(8人左右)。这一结 果具体的反应了SI模型的分类效果，可见大部分被试者都能得到很高的识别正确率，只有 很少一部分的被试者正确率较低，这进一步证明了对大部分人来说不经校准，直接进行跨 人识别就可以达到令人满意的结果，为通用型脑-机接口提供了更大可能。

不同被试者的SD与SI的效果差别分布从另一方面证实了这一结论，如图8所示。该 结果由SD的正确率减SI的正确率得到，差越小，表示SI的效果与SD越接近。刺激重复 10次时，被试者中74.55％的SI结果与SD之间仅差不到10％，其中也包括个别被试者SI 优于SD的情况。差距在10-20％的人群占被试总数的10.90％，两种模型结果之差大于20％ 的被试者有8人，仅占总人数的14.55％。可见大部分被试者可以利用SI得到与SD效果 相当的结果，这一部分人群可以省略校准过程中建个体专用模型的步骤，直接应用跨个体 模型，基本实现通用型脑机接口的功能。

为了探讨SI模型对于加快校准进程的效果，分别计算SD模型和SI模型的字符识别 正确率与用于训练字符个数的关系，结果如图9所示，图中横坐标表示用于训练的数据量 所对应的字符个数，需要说明的一点是，SD模型完全由待测被试本身的数据所建立，此 时横坐标的数字表示用于训练模型的该被试的数据所对应的字符个数，而SI模型由待测被 试以外的被试数据所建立，此时横坐标的数字表示向SI模型中加入待测被试本身数据所对 应的字符个数。图中的实线表示SI模型的平均结果，深色阴影表示不同个体的标准偏差， 虚线表示SD模型的平均结果，浅色阴影表示不同个体的标准偏差。从图中可以看出，当 尚未加入待测被试者本身的数据时，SI模型的字符识别率为86.55％，而此时SD模型显然 为0，在加入5个待测被试者本身字符的数据之前，SI模型的字符识别效果优于SD模型， 5个字符之后，SD模型的效果才逐渐略高于SI模型，事实上，其后二者的识别效果相差 并不明显。该结果显示，在没有待测被试者数据加入时，SI模型也可以有较好的识别效果， 随着待测被试者信息的加入，SI模型的识别效果会比SD模型更快上升至最高水平，因此 与SD模型相比，SI模型可以节约校准所用的时间，对应SI和SD两种模型，统计识别率 达到90％时需要的待测被试自身数据所对应的字符数量，按[N(SD)-N(SI)]/N(SD)计算SI 模型相较于SD模型的节省校准时间百分比，其中N(SD)表示使SD模型识别率达到90％ 需要的数据量对应的字符个数，N(SI)表示使SI模型识别率达到90％需要的待测被试自 身数据量对应的字符个数，得到93.93％±13.17％的结果，这一结果反映了SI可以明显减少 使用前的校准过程，对于脑-机接口系统的新用户而言，可以直接利用SI模型实现任务分 类，且该效果会随着该用户自身数据的在线自适应而迅速得到提升。

综上所述，本发明提出了一种基于事件相关电位的跨个体通用型脑机接口方法，利用 该方法可在脑机接口系统中建立跨个体模型，与传统的个体特异性脑机接口系统相比，大 大节省了新用户使用前的校准时间，节省了精力，增强实际使用效果。最佳实施方案拟采 用专利转让、技术合作或产品开发。该项发明可以用于控制外部设备、电子娱乐等领域， 具有重要的研究意义与商业价值。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要 能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号 仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。