通过可重新编程的振动信号进行可穿戴设备身份验证方法

摘要

在本发明中，我们开发了一种新颖的设备身份验证系统，它可以使用其基于振动的设备凭证来识别用户的可穿戴设备。我们的系统利用可穿戴设备中现成的振动电机和加速度计来建立振动通信通道，以捕捉可穿戴设备的独特振动特性。与现有方法相比，我们基于振动的设备凭证可重新编程且易于使用。除此之外，发明中还开发了一系列数据处理方法来减轻噪音、身体运动和穿着姿势对识别准确性的影响。最后，本发明还开发了一种轻量级卷积神经网络，用于特征提取和设备认证。使用五款智能手表进行的大量实验结果表明，本发明在各种攻击场景中可以达到98％和94％的平均准确率和召回率。

说明书

技术领域

本发明涉及计算机机器学习领域，具体涉及一种利用卷积神经网络通过可重新编程的振动信号对可穿戴设备的振动信息进行特征提取和设备认证的方法。

背景技术

传统的移动设备用户身份验证方法通常需要输入用户名、密码、图形图案等信息。尽管这些方法简单明了，但它们非常不安全，并且容易受到各种攻击。近年来，研究人员提出使用人体生物特征来进行更方便、更安全的用户身份验证。这些基于生物特征的方法可以分为两类：基于行为的方法和基于生理的方法。基于行为的方法需要用户的积极参与(例如，击键输入、鼠标移动、步行步态等)。由于所涉及的活动难以控制，因此此类方法的性能可能并不稳健。相比之下，基于生理的方法是非侵入性的并且易于使用。他们利用人类指纹、虹膜、呼吸和心脏模式来执行用户身份验证。然而，这种类型的方法大多需要专用设备(例如，指纹传感器、高分辨率相机、ECG传感器和多普勒雷达传感器)，而这些设备在可穿戴设备中并不容易获得。最近，科学家还提出了一种使用商用Wi-Fi的基于行为的用户认证系统，该系统具有非侵入性和低成本。然而，由于Wi-Fi信号容易受到环境变化和射频干扰的影响，这种方法需要在不同的位置进行额外的训练。

上述用户认证方式虽然有效，但大多不适用于计算能力低、电池寿命短的可穿戴设备。此外，它们并不安全，用户的凭证可能会受到各种攻击的破坏。为了解决这些问题，研究人员利用硬件缺陷作为设备凭证来验证某些敏感操作是否来自合法设备。根据这些凭证的来源，我们可以将现有的设备凭证分为三类：

1)基于声学的设备凭证

制造过程中的变化虽然通常很小，但通常会导致产品不符合预先定义的规格。例如，相同品牌和型号的麦克风和扬声器会产生和接收不同的声音。这些基于声学的方法都需要在录音中使用麦克风，因此会产生隐私问题。

2)基于射频的设备凭证。

研究人员还发现，来自移动设备的射频信号包含与这些设备内部模拟电路缺陷相关的可识别信息。例如，有的科学家比较了几种使用调制器电路、模拟电路和Wi-Fi发射器时钟偏差来识别无线设备的设备识别系统。但是在这些基于射频的方法中，射频信号采集和处理的质量和速度容易受到环境因素的影响，从而导致设备凭证提取复杂且困难。

3)基于运动传感器的设备凭证。

运动传感器(即加速度计和陀螺仪)也可用于指纹识别。例如，利用加速度计的独特线性偏差，或使用音频信号通过人体运动触发手机中的加速度计和陀螺仪。这些研究表明，基于运动传感器的方法是一个很有前途的研究领域，需要进一步研究利用预定义的振动模式、不同的频率和振幅。目前已有的研究主要集中在手机和平板电脑上。由于人类手腕的接触面与办公桌或人类手掌的接触面有很大不同，因此它们是否能适应可穿戴设备仍是未知数。

对此，本发明通过振动电机生成基于振动的设备凭证，并通过可穿戴设备中的加速度计捕获凭证。此外，我们的系统可重新编程，允许用户更改或自定义设备凭据。通过这样措施，即使在原始设备凭证被攻击者破坏后，用户也可以继续使用他们的可穿戴设备。

发明内容

本发明的主要内容可以概括为以下几点：

1)我们广泛研究了可穿戴设备的振动电机和加速度计的独特性，并开发了一种新的设备认证系统，该系统利用从可穿戴设备捕获的振动特性来执行设备认证。

2)我们分析来自不同振动模式的振动特性，并使用商用可穿戴设备中现成的低成本振动电机和加速度计开发可重新编程的基于振动的设备凭证。

3)我们开发了一种轻量级的深度神经网络，可以根据基于振动的设备凭证准确有效地识别不同的可穿戴设备。

4)我们使用五款商用现货智能手表在不同场景和不同日期收集了大量实验数据。我们的结果表明，我们的设备认证系统的准确率和召回率分别可以达到98％和 94％以上。

为了使用可穿戴设备的振动电机和加速度计分别产生和收集的振动构建一个有效、强大和灵活的可穿戴设备认证系统，我们需要解决以下挑战：

1)在可穿戴设备中使用振动电机和加速度计的有效凭证

由于尺寸和电池的限制，可穿戴设备通常配备质量较低的振动电机和采样率不超过 50Hz的加速度计。因此，很难从可穿戴设备中获得对振动信号的细粒度测量，以便为设备提取有效凭证。

2)实用的稳健的振动信号

在实践中，用户可能正在移动或摆动他/她的手臂，而周围环境可能嘈杂且充满干扰。因此，加速度计从用户手表上捕捉到的振动信号往往混杂着噪声。这将使从振动信号中提取设备凭证以进行可靠的设备识别变得具有挑战性。

3)可重新编程的设备凭证

设备凭证以及常规用户登录信息会受到来自恶意用户的各种攻击。当一组特定的设备凭证被泄露时，身份验证系统将禁用该设备并使其无法用于其受保护的服务。为了重新保护设备，设备认证系统应该能够为新的设备凭证提供可重新编程的功能，从而使被盗的凭证过时。

为了应对上述挑战，我们将本发明设计为可重新编程的设备认证系统，利用商用可穿戴设备中的低成本振动电机和加速度计。该系统的基本思想是根据可穿戴设备的振动电机和加速度计的制造缺陷引起的独特振动特性来识别可穿戴设备。当配备本发明的可穿戴设备尝试执行关键操作(例如，移动支付或在线购买)时，它会触发本发明，通过将用户的用户凭据和设备凭据发送到远程服务器来验证操作的真实性。

实现本发明的技术方案是：

一种通过可重新编程的振动信号进行可穿戴设备身份验证方法，包括：

步骤1.1：可重新编程的振动信号的生成和振动数据的收集；

步骤1.2：利用数据过滤，振动标准化，方向对齐等方法对收集到的数据进行预处理；

步骤1.3：从处理后的数据中，提取基于振动的设备凭证并将其发送到远程服务器准备进行设备认证；

步骤1.4：利用我们开发的一种轻量级的深度神经网络进行设备认证。

2、根据权利要求1所述的一种通过可重新编程的振动信号进行可穿戴设备身份验证方法，其特征在于，所述步骤1.1中可重新编程的振动信号的生成和振动数据的收集的方法如下：

步骤2.1：使用Google WearOS(v2.27)通过VibrationEffect方法配置商品可穿戴设备中内置振动电机的振动强度和振动持续时间；

步骤2.2：利用振动强度、振动持续时间、睡眠持续时间(即两次振动之间的空闲时间)和振动频率这四个独立的参数生成一大组振动模式，用于独特的基于振动的设备凭证。

3、根据权利要求1所述的一种通过可重新编程的振动信号进行可穿戴设备身份验证方法，其特征在于，所述步骤1.2中数据预处理的方法如下：

步骤3.1：数据过滤，利用一个巴特沃斯带通，使用10Hz和24.8Hz的截止频率来过滤此范围之外的振动噪声和干扰；

步骤3.2：振动标准化，将Z分数标准化方法应用于来自每个轴的加速度计读数，如下所示：

其中ɑ是沿某一轴的振动加速度值，μ和δ分别是沿同一轴的加速度的平均值和标准偏差。标准化后，加速度计数据(a′)以0为中心并按比例缩放以具有1的标准偏差；

步骤3.3：方向对齐，利用低通滤波器来排除重力加速度的干扰如下所示

a″

其中g

4、根据权利要求1所述的一种通过可重新编程的振动信号进行可穿戴设备身份验证方法，其特征在于，所述步骤1.3中提取基于振动的设备凭证的方法如下：

步骤4.1：基于滑动窗口得出预处理加速度计读数的短时能量，方法如下所示

其中a(n)是时间n时的加速度计读数，w是滑动窗口的大小。系统检查E(t)并分别根据E(t)是否高于或低于阈值来确定设备凭证的起点和终点；

步骤4.2：通过实验调整手表阈值大小；

步骤4.3：采用三次样条插值来确保提取的设备凭证每次都具有相同数量的样本。

5、根据权利要求1所述的一种通过可重新编程的振动信号进行可穿戴设备身份验证方法，其特征在于，所述步骤1.4中利用轻量级的深度神经网络进行设备认证的方法如下：

步骤5.1：设计了一个具有4个卷积层、2个最大池化层、1个展平层、1个dropout 层和1个全连接层的1D CNN；

步骤5.2：将设备凭证转换为6×200向量，并将该向量输入1D CNN，以确定接收到的设备凭证是否与合法可穿戴设备的预注册设备凭证匹配。

本发明的有益效果：

允许用户使用相同的设备，但通过对振动电机重新编程以诱导新的、独特的振动特性作为设备凭证来更改基于振动的设备凭证。与使用不可更改的设备凭据的传统设备身份验证方法相比，如果设备凭据被泄露，我们更加实用和方便。当本发明拒绝设备身份验证时，它会向用户的可穿戴设备发送一条有关未授权操作尝试的警告消息。然后，用户可以选择通过启动设备凭证重新注册来使用不同的基于振动的设备凭证。在这里，用户只需在可穿戴设备上生成新模式的振动信号，对采集的加速度计数据进行预处理，提取基于振动的设备凭证，并通过安全通道将其发送到服务器进行注册。用户可以根据振动强度和持续时间定义他/她自己的振动模式，或者使用工厂预定义的模式。注册后，用户将能够使用新的设备凭证进行设备认证。

附图说明

图1为本发明通过可重新编程的振动信号进行可穿戴设备身份验证系统流程图

图2为图1中使用卷积神经网络进行设备认证步骤时的卷积神经网络流程图

具体实施方式

下面将结合附图对本发明的具体操作进一步说明。

如图1所示首先是可重新编程的振动信号生成和振动数据收集。我们的主要优点是基于振动的设备凭证可在同一设备上重新编程。具体来说，一个振动信号可以主要由四个独立的参数决定：振动强度、振动持续时间、睡眠持续时间(即两次振动之间的空闲时间)和振动频率。使用这四个参数的不同组合，我们可以生成一大组振动模式，用于独特的基于振动的设备凭证。

在这项工作中，我们使用Google WearOS(v2.27)通过VibrationEffect方法配置商品可穿戴设备中内置振动电机的振动强度和振动持续时间。这里振动强度是0到255 之间的整数值，振动持续时间和睡眠持续时间可以是秒为单位的任意时间长度。我们发现振动强度值并不反映产生的振动信号的幅度。此外，相同的振动强度会从不同的可穿戴式加速度计产生不同的读数。这种设备方面的输入-输出关系进一步验证了我们在可穿戴设备中使用振动特性来进行设备认证。在这项工作中，我们使用了五个具有不同振动强度水平的振动信号。

接下来是数据预处理阶段。加速度计捕捉带有可穿戴设备独特振动特性的振动信号以及由人体运动和重力引起的加速度。为确保系统能够准确提取基于振动的设备凭据，我们采用以下方法对可穿戴设备的加速度计捕获的振动信号进行预处理。

数据过滤。在可穿戴设备上收集用于设备认证的振动信号时，加速度计还捕获噪声 (例如，环境声音和热噪声)和干扰(例如，人体运动和背景音乐)。我们使用带通滤波器过滤加速度计数据，以生成的振动信号的振动频率为中心，以减轻这些噪声和干扰。具体来说，我们首先使用快速傅里叶变换发现我们所有可穿戴设备的振动频率范围都在 11.3Hz和24.8Hz之间。此外，大多数人类活动的频率低于10Hz。因此，我们开发了一个巴特沃斯带通，使用10Hz和24.8Hz的截止频率来过滤此范围之外的振动噪声和干扰。

振动标准化。可穿戴设备的加速度计收集的振动信号是沿x、y和z轴的三个维度的加速度。三个轴之间的值范围差异很大，不同设备型号之间的差异更大。为了确保数据的可比性，系统将Z分数标准化方法应用于来自每个轴的加速度计读数，如下所示：

其中ɑ是沿某一轴的振动加速度值，μ和δ分别是沿同一轴的加速度的平均值和标准偏差。标准化后，加速度计数据(a′)以0为中心并按比例缩放以具有1的标准偏差。因此，来自不同设备和尺寸的数据具有可比性。

方向对齐。通常，可穿戴设备的方向会不断变化，因为它主人的手腕大部分时间都不会保持静止。因此，内置加速度计的三个轴的方向会相应变化。为了确保我们的系统无论可穿戴设备的方向如何都能获得相同的设备凭据，我们需要从投射在三个方向中的每个方向的加速度计读数中减去重力加速度(9.8m/s^2)。所以，我们为此目的采用了低通滤波器：

a″

其中g

再接下来是设备凭证提取阶段。在对加速度计数据进行预处理后，我们需要提取基于振动的设备凭证并将其发送到远程服务器进行设备认证。为了保证系统的稳健性和准确性，我们需要精确确定作为设备凭证的振动信号的起点和终点。特别是，基于滑动窗口得出预处理加速度计读数的短时能量：

其中a(n)是时间n时的加速度计读数，w是滑动窗口的大小。系统检查E(t)并分别根据E(t)是否高于或低于阈值来确定设备凭证的起点和终点。我们根据对三名志愿者和五只手表的研究，凭经验确定阈值。我们发现，即使志愿者的手臂轻微抖动，Z-score 标准化后的短时能量也不超过Fossil手表的0.4和Moto手表的0.01的值。因此，我们将这两种手表的阈值分别设置为0.4和0.01。在实践中，这个过程可以相当容易和快速地完成。此外，由于加速度计的采样变化，相同振动持续时间的采样数量可能会略有不同。为了解决这个问题，我们采用三次样条插值来确保提取的设备凭证每次都具有相同数量的样本。具体来说，我们将每个设备凭证插入200个样本，这可以很好地保留可穿戴设备加速度计在4秒内的最大采样率(即50Hz)捕获的设备凭证的详细信息。

再接下来是使用卷积神经网络的设备认证阶段。虽然观察到基于振动的设备凭证对于不同的可穿戴设备是唯一的，但基于建模的分析可以定量回答特定设备的设备凭证集是否合法的问题。为此，我们建议在设备凭证的细粒度表示上训练一维卷积神经网络 (1DCNN)，并在远程服务器上执行设备身份验证。使用这种方法，不需要传统机器学习方法所需的特征提取过程。相反，我们可以在预处理后直接使用设备凭据，而不会丢失任何信息。

1D CNN已被用于信号处理和加速度数据分析。在这项工作中，我们设计了一个具有4个卷积层、2个最大池化层、1个展平层、1个dropout层和1个全连接层的1D CNN。我们的1D CNN的参数在图2中指定。在前两个卷积层中，我们定义了64个内核，内核大小为2。引入最大池化层以降低前一层输出的复杂度。在第三和第四卷积层中，设计了256个内核大小为2的内核来学习更高级的特征。增加了一个dropout层来避免过度拟合并提高CNN模型的泛化能力。在全连接层中，使用softmax激活函数将特征减少到向量大小为2。我们使用二元交叉熵作为损失函数。使用学习率为0.001 的Adam优化器来优化神经网络。softmax激活函数的输出包含两个标签的概率(即，合法设备为1，否则为0)。收到设备凭证后，系统将设备凭证转换为6×200向量，并将该向量输入1D CNN，以确定接收到的设备凭证是否与合法可穿戴设备的预注册设备凭证匹配。

最后是提升体统的鲁棒性阶段。我们注意到外部因素(即手臂或手腕的剧烈晃动)以及系统本身的误报和误报都会影响认证的准确性。因此，多决策比单决策更可靠。为此，系统对预测标签进行多数投票。更具体地说，我们从测试集中随机选择奇数个样本，如果超过一半的样本被预测为合法设备，则最终决定是合法的，否则是外来的。在这项工作中，由于我们的测试集相对较小，我们在每个身份验证中选择3个样本。我们将3 个样本输入经过训练的1D CNN，得到3个决策。1D CNN的输出是一个向量[a,b]，其中a是预测是“入侵设备”的概率，b是“合法设备”的概率。基于ROC曲线的阈值方法用于做出每一个决策。我们以多数人的决定为最终决定，也就是说，如果3个决定中有超过2个是“合法装置”，则最终决定将是“合法的”。与单一决策相比，多数投票使用多决策方法来避免偶尔的系统错误和人为影响。

我们使用人类手腕或桌面上的手表来评估我们系统的性能。对于桌面场景，手表正面朝上水平放置在桌子表面，皮带用胶带粘在桌子上。这是一个非常理想的情况，几乎没有影响数据收集过程的因素。对于腕式表壳，手表戴在人的手腕上，前臂水平放在桌子上，手表朝上。具体来说，使用5个智能手表来收集振动数据。我们交替选择一只手表作为合法设备，另外四只手表作为攻击者。测试的结果表明，无论手表是放在桌子上还是戴在人的手腕上，我们的系统都具有良好的身份验证性能。因此，来自可穿戴设备的振动信号确实可以作为可靠且一致的设备凭证。

我们设计的这个系统，是一种用于可穿戴设备的基于振动的设备认证系统。该系统可以为传统的用户身份验证方法提供额外的安全层，而无需用户参与。它利用可穿戴设备的振动电机、设备主体和加速度计的制造缺陷来创建独特的振动特性，将它们用作设备凭证来确定可穿戴设备的身份。我们的系统比现有方法更实用和方便，因为基于振动的设备凭证可以通过改变可穿戴设备的振动模式来重新编程。我们广泛研究不同可穿戴设备的振动特性，并开发数据预处理方法以确保系统的鲁棒性。我们还开发了一个轻量级的CNN模型来捕捉独特的振动特性并预测可穿戴设备在各种实际场景下的身份。在为期4周的五款商品智能手表的实验中，收集了超过2500个基于振动的设备凭证。我们证明了我们的系统在各种情况下(即不同的振动模式、训练大小、采样率和佩戴姿势)可以达到98％和94％的平均精度和召回率。我们还表明，我们的系统在不同类型的攻击下可以达到100％的拒绝率。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。