用于处理包括生理信号的人类相关数据以利用边缘和云的分布式机器学习来制定情境感知决策的系统和方法

摘要

公开了一种用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的系统和方法。最近边缘计算装置从第一、第二和第三传感装置接收第一、第二和第三感测信号，确定第一、第二和第三感测信号何时超过对应阈值，使感测信号对相关以生成多个相关性模式，确定第一感测信号超过第一阈值与第二感测信号超过第二阈值之间的滞后时间，将多个相关性模式中的每一个和滞后时间作为输入提供给多个长短期记忆(LSTM)神经网络，控制多个LSTM神经网络以提供输出，并且至少部分地基于多个相关性模式和滞后时间将患者映射到医学状况的阶段。

说明书

相关申请交叉引用

本申请要求在2019年10月25日提交的美国临时申请No.62/926335和在2020年10月22日提交的美国非临时申请No.US 17/078003的权益。所有上述申请的全部内容通过引用并入本文以用于所有目的。

技术领域

所描述的技术总体上涉及医学决策制定中的人工智能，并且具体地，涉及在变化的时间段内处理人类生理信号以制定医学决策。

背景技术

在医院或临床环境中使用计算机化的医学决策支持是已知的。

发明内容

本发明的一个方面提供了急性心力衰竭的预测或心脏病中其它不良事件(例如直立性高血压、心肌梗塞)的预测。

另一方面是基于心脏健康相关组织(例如纽约心脏协会或美国心脏病学院)的指南，自动诊断四种不同类型的心力衰竭并将所有心力衰竭患者分类为这四种类型。

另一方面是将所有心力衰竭患者分类为特定亚型，例如射血分数(EF)降低或EF正常；心脏收缩心力衰竭对心脏舒张心力衰竭；右心室心力衰竭对左心室心力衰竭(诸如使用半监督或分散实施例)。

另一方面是为心脏病专家和内科(初级护理)提供先进远程医疗的前沿技术。该技术使得健康护理专业人员能够看到就诊历史中的所有生理信号，存储来自每次体检的记录和数据，并且将所有信息聚集在边缘中，以用于血压(BP)、心率(HR)、心率变异性(HRV)的异常检测。这可以用于预防以及诊断或预测不良事件。

生理信号变化可在急性心力衰竭之前至少几个小时的延长的时间段(一小时或更长)内发生。所述技术可以实时检测变化，并让医生及时干预，以避免诸如急性心力衰竭的不良事件。

在一些实施例中，利用注意力网络和记忆聚集器的所述技术的相关性、多级循环神经网络(RNN)和长短期记忆(LSTM)可以以新颖的方式学习和检测生理信号变化的长时间历史，并且因此识别患者的风险。

例如，通过利用注意力网络和记忆聚合器，信号和多级LSTM的相关性可以比任何其它方法学习更长的时间历史。在多个信号和多个状态上学习的二维(2D)注意力热图可提供可解释的人工智能(AI)结果，该AI结果可解释输入信号或特征的哪一部分导致AI系统制定的决策。可解释的AI可容易地向医生解释，并比任何其它黑盒AI更好地构建其对采纳的信任。由于该方法使用信号与可解释的注意力热图之间的相关性，所以系统需要少得多的数据来训练网络。心脏病专家组可以帮助标记记录的数据并向机器学习(ML)方法建议新的中间节点，以帮助解释ML(AI)模型的决策制定。该系统可以包括用于决策制定的多个过程。

另一方面涉及一种用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的系统，系统包括：多个边缘计算装置，其被配置为彼此传送数据，多个边缘计算装置物理上彼此间隔开；至少三个传感装置，包括第一传感装置、第二传感装置和第三传感装置，第一传感装置、第二传感装置和第三传感装置被配置为实时感测患者的生理信号，以生成第一感测信号、第二感测信号和第三感测信号，并且将第一感测信号、第二感测信号和第三感测信号传送到多个边缘计算装置中的最接近的可用于第一传感装置、第二传感装置和第三传感装置的边缘计算装置；以及核心云网络，其被配置为与边缘计算装置或至少三个传感装置通信，最接近的可用的边缘计算装置与核心云网络数据通信并且被配置为：从第一传感装置、第二传感装置和第三传感装置接收第一感测信号、第二感测信号和第三感测信号；确定第一感测信号何时超过第一阈值达第一预定时间；确定第二感测信号何时超过第二阈值达第二预定时间；确定第三感测信号何时超过第三阈值达第三预定时间；使第一感测信号与第二感测信号相关，以生成第一相关性模式；确定第一感测信号超过第一阈值、与第二感测信号超过第二阈值之间的滞后时间；将第一相关性模式和滞后时间作为输入提供给第一长短期记忆(LSTM)神经网络；使第二感测信号与第三感测信号相关，以生成第二相关性模式；将第二相关性模式作为输入提供给第二LSTM神经网络；控制第一LSTM神经网络和第二LSTM神经网络，以提供输出；以及至少部分地基于第一相关性模式、滞后时间和第二相关性模式，来将患者映射到医学状况的阶段。

最接近的可用的边缘计算装置还可被配置为：使第一感测信号与第三感测信号相关，以生成第三相关性模式；将第三相关性模式作为输入提供给第三LSTM神经网络；从第一LSTM神经网络、第二LSTM神经网络和第三LSTM神经网络中的每一个收集状态的历史；使用注意力网络来分析状态的历史，使得注意力网络的输出学习跨时间和跨信号的交互；以及使用多信号记忆聚合器来总结交互的历史，使得多信号记忆聚合器的输出被馈送到决策制定模块中，以基于交互的总结的历史，来将患者映射到医学状况的阶段。

最接近的可用的边缘计算装置可包括：第一特征提取器，其被配置为确定第一感测信号何时超过第一阈值达第一预定时间；第二特征提取器，其被配置为确定第二感测信号何时超过第二阈值达第二预定时间；第三特征提取器，其被配置为确定第三感测信号何时超过第三阈值达第三预定时间；以及第一相关器，其被配置为使第一感测信号和第二感测信号相关，以生成第一相关性模式，并且确定在第一感测信号超过第一阈值与第二感测信号超过第二阈值之间的滞后时间作为到LSTM库中的第一LSTM神经网络中的第一单元的输入，其中，第三特征提取器被配置为将第三感测信号直接馈送到LSTM库中的第二LSTM神经网络中的第一单元，其中，第一相关器还被配置为在第一LSTM神经网络的额外的不同单元中生成随时间变化的额外的第一相关性模式，其中，第三特征提取器还被配置为将在第三感测信号超过第三阈值时，将随时间变化的额外的实例作为输入信号，提供到第二LSTM神经网络的额外的不同单元中，其中，LSTM库中的第一LSTM神经网络中的每一个的单元、和第二LSTM神经网络的单元被配置为被馈送到全连接神经网络中，以生成注意力图系数，注意力图系数与第一LSTM神经网络的单元和第二LSTM神经网络的单元按分量相乘，以生成注意力图，其中，注意力图被配置为被馈送到多信号记忆聚合器中，以随时间聚合多个信号记忆，以准备到决策制定模块中的最佳输入，以及其中，决策制定模块被配置为基于从多信号记忆聚合器接收的最佳输入，来制定将患者映射到医学状况的阶段的决策。

第一感测信号、第二感测信号和第三感测信号可以具有不同的模态，其中，第一相关性模式、第二相关性模式、第一LSTM神经网络的状态和第二LSTM神经网络的状态可以被配置为被馈送到第一多模态LSTM神经网络中，其中，第二相关性模式、第三相关性模式、第二LSTM神经网络的状态和第三LSTM神经网络的状态可以被配置为被馈送到第二多模态LSTM神经网络中，并且其中，第一LSTM神经网络的状态、第二LSTM神经网络的状态和第三LSTM神经网络的状态以及第一多模态LSTM神经网络和第二多模态LSTM神经网络的输出可以被配置为被馈送到多信号记忆聚合器中。

该系统还可以包括注意力功能处理器，注意力功能处理器被配置为：接收第一感测信号、第二感测信号和第三感测信号中的一个作为输入信号；寻找输入信号的一个或多个特定模式；以及在执行相关之前，对输入信号进行分类并且生成对应于特定模式的注意力图。

该系统还可以包括注意力功能处理器，注意力功能处理器被配置为：接收第一感测信号、第二感测信号和第三感测信号中的一个作为输入信号；寻找输入信号的一个或多个特定模式；以及在注意力图成为所述第一多模态LSTM神经网络或第二多模态LSTM神经网络中之一的输入之前，对输入信号进行分类并且生成对应于特定模式的注意力图。

最接近的可用的边缘计算装置可以被配置为：将注意力图作为文档呈现给医疗专业人员，以支持对患者的医学状况的阶段的确定。

决策制定模块可以包括至少一个全连接神经网络。决策制定模块可以被配置为生成标量量化风险评分。全连接神经网络可以包括缩放的sigmoid激活函数。决策制定模块可以包括被配置为对全连接神经网络的输出进行操作的argmax函数。决策制定模块可以被配置为生成二进制格式预测。全连接神经网络可以包括用于多类别分类的每一个类别的单元，并且其中，argmax函数的输出是输入数据属于多类别分类的每一个类别的概率。

最接近的可用的边缘计算装置可以包括第一LSTM神经网络到第三LSTM神经网络和决策制定模块中的至少一个。最接近的可用的边缘计算装置可以被配置为：在执行相关之前，缓冲并对齐第一感测信号、第二感测信号和第三感测信号中的至少一者。

在另一方面，存在一种用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的边缘计算装置，边缘计算装置包括：存储器，其存储计算机可执行指令；以及处理器，其与存储器数据通信，并且被配置为当由可执行指令执行时：接收第一感测信号、第二感测信号和第三感测信号，第一感测信号、第二感测信号和第三感测信号是通过从第一传感装置、第二传感装置和第三传感装置感测患者的生理信号而实时获得的，确定第一感测信号何时超过第一阈值达第一预定时间；确定第二感测信号何时超过第二阈值达第二预定时间；确定第三感测信号何时超过第三阈值达第三预定时间；使第一感测信号与第二感测信号相关，以生成第一相关性模式；确定第一感测信号超过第一阈值、与第二感测信号超过第二阈值之间的滞后时间，以及使第二感测信号与第三感测信号相关，以生成第二相关性模式；第一长短期记忆(LSTM)神经网络，其被配置为从处理器接收第一相关性模式和滞后时间；以及第二长短期记忆(LSTM)神经网络，其被配置为从处理器接收第二相关性模式，其中，处理器还被配置为：控制第一LSTM神经网络和第二LSTM神经网络，以提供输出；以及至少部分地基于第一相关性模式、滞后时间和第二相关性模式，来将患者映射到医学状况的阶段。

处理器还可以被配置为：使第一感测信号与第三感测信号相关，以生成第三相关性模式；以及将第三相关性模式作为输入提供给第三LSTM神经网络，其中，处理器可以被配置为对第一LSTM神经网络、第二LSTM神经网络和第三LSTM神经网络的输出制定决策。处理器还可以被配置为通过对第一LSTM神经网络、第二LSTM神经网络和第三LSTM神经网络的输出执行分散函数来制定决策。

处理器还可以被配置为：使第一感测信号与第三感测信号相关，以生成第三相关性模式；将第三相关性模式作为输入提供给第三LSTM神经网络；从第一LSTM神经网络、第二LSTM神经网络和第三LSTM神经网络中的每一个收集状态的历史；使用注意力网络来分析状态的历史，使得注意力网络的输出学习跨时间和跨信号的交互；使用多信号记忆聚合器来总结交互的历史；以及将多信号记忆聚合器的输出馈送到决策制定模块中，以基于交互的总结的历史，来将患者映射到医学状况的阶段。

处理器可以包括：第一特征提取器，其被配置为确定第一感测信号何时超过第一阈值达第一预定时间；第二特征提取器，其被配置为确定第二感测信号何时超过第二阈值达第二预定时间；第三特征提取器，其被配置为确定第三感测信号何时超过第三阈值达第三预定时间；以及第一相关器，其被配置为使第一感测信号和第二感测信号相关，以生成第一相关性模式，并且确定在第一感测信号超过第一阈值、与第二感测信号超过第二阈值之间的滞后时间作为到LSTM库中的第一LSTM神经网络中的第一单元的输入，其中，第三特征提取器被配置为将第三感测信号直接馈送到LSTM库中的第二LSTM神经网络中的第一单元，其中，第一相关器还被配置为在第一LSTM神经网络的额外的不同单元中生成随时间变化的额外的第一相关性模式，其中，第三特征提取器还被配置为将在第三感测信号超过第三阈值时，将随时间变化的额外的实例作为输入信号，提供到第二LSTM神经网络的额外的不同单元中，其中，LSTM库中的第一LSTM神经网络中的每一个的单元和第二LSTM神经网络的单元被配置为被馈送到全连接神经网络中，以生成注意力图系数，注意力图系数与第一LSTM神经网络的单元和第二LSTM神经网络的单元按分量相乘，以生成注意力图，其中，注意力图被配置为被馈送到多信号记忆聚合器中，以随时间聚合多个信号记忆，以准备到决策制定模块中的最佳输入，以及其中，决策制定模块被配置为基于从多信号记忆聚合器接收的最佳输入，来制定将患者映射到医学状况的阶段的决策。

在又一方面，存在一种用于处理人类相关数据以利用与云通信的边缘计算装置处的分布式机器学习来制定个性化和情境感知决策的方法，方法包括：在边缘计算装置的处理器处，接收第一感测信号、第二感测信号和第三感测信号，第一感测信号、第二感测信号和第三感测信号是通过从第一传感装置、第二传感装置和第三传感装置感测患者的生理信号而获得的；在处理器处，确定第一感测信号何时超过第一阈值达第一预定时间，在处理器处，确定第二感测信号何时超过第二阈值达第二预定时间，在处理器处，确定第三感测信号何时超过第三阈值达第三预定时间；在处理器处，使第一感测信号与第二感测信号相关，以生成第一相关性模式，在处理器处，确定第一感测信号超过第一阈值与第二感测信号超过第二阈值之间的滞后时间；在处理器处，使第二感测信号与第三感测信号相关，以生成第二相关性模式；在边缘计算装置的第一长短期记忆(LSTM)神经网络处，接收第一相关性模式和滞后时间；在边缘计算装置的第二LSTM神经网络处，接收第二相关性模式；在处理器处，控制第一LSTM神经网络和第二LSTM神经网络，以提供输出；以及在处理器处，至少基于第一相关性模式、滞后时间和第二相关性模式，来将患者映射到医学状况的阶段。

方法还可以包括：在处理器处，使第一感测信号与第三感测信号相关，以生成第三相关性模式；在边缘计算装置的第三LSTM神经网络处，接收第三相关性模式；通过处理器，从第一LSTM神经网络、第二LSTM神经网络和第三LSTM神经网络中的每一个收集状态的历史；在边缘计算装置的注意力网络处，分析状态的历史以学习跨时间和跨信号的交互；在边缘计算装置的多信号记忆聚合器处，总结交互的历史；通过处理器，将多信号记忆聚合器的输出馈送到边缘计算装置的决策制定模块中；以及在决策制定模块处，基于交互的总结的历史将患者映射到医学状况的阶段。

方法还可以包括：在LSTM库中的第一LSTM神经网络的第一单元处，接收第一相关性模式输入；当第三感测信号超过第三阈值时，在LSTM库中的第二LSTM神经网络中的第一单元处，直接接收第三感测信号；将随时间变化的额外的第一相关性模式接收到在第一LSTM神经网络的额外的不同单元中；通过处理器，接收在第三感测信号超过第三阈值时随时间变化的额外的实例，该实例作为到第二LSTM神经网络的额外的不同单元中的输入信号；通过边缘计算装置的注意力网络，基于LSTM库中的被馈送到全连接神经网络中的第一LSTM神经网络中的每一个的单元、和第二LSTM神经网络的单元，以生成注意力图系数；通过注意力网络，基于注意力图系数与第一LSTM神经网络的单元和第二LSTM神经网络的单元按分量相乘，以生成注意力图；通过处理器，将注意力图馈送到多信号记忆聚合器中，多信号记忆聚合器被配置为随时间聚合多个信号记忆；以及在决策制定模块处，基于从多信号记忆聚集器接收的聚集的多个信号记忆，将患者映射到医学状况的阶段。

边缘计算装置可以是在包括与云数据通信的第一边缘计算装置至第三边缘计算装置的多个边缘计算装置中，最接近患者的可用的边缘计算装置。

方法还可以包括：从患者的传感装置接收服务请求；定位患者的传感装置；确定边缘计算装置是在包括与云通信的第一边缘计算装置至第三边缘计算装置的多个边缘计算装置中，最接近患者的传感装置的可用的边缘计算装置；以及将服务槽分配给患者的传感装置。确定最接近的可用的边缘计算装置可以包括：在多个边缘计算装置处，接收由患者的传感装置发送的信号；测量由多个边缘计算装置接收的信号的强度；比较接收的信号的强度；以及将具有最强信号强度的边缘计算装置确定为最接近的可用的边缘计算装置。

方法还可以包括：在执行相关之前，缓冲并对齐第一感测信号或第二感测信号中的一个。方法还可以包括：寻找第一感测信号或第二感测信号的一个或多个特定模式；以及在执行相关之前，生成与特定模式相对应的注意力图。方法还可以包括：将注意力图作为文档呈现给医疗专业人员，以支持对患者的医学状况的阶段的确定。

在另一方面，存在一种用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的系统，系统包括：多个边缘计算装置，其被配置为彼此传送数据，多个边缘计算装置物理上彼此间隔开；至少两个传感装置，包括第一传感装置和第二传感装置，第一传感装置和第二传感装置被配置为实时感测患者的生理信号，以生成第一感测信号和第二感测信号，并且将第一感测信号和第二感测信号传送至多个边缘计算装置中的最接近的可用于第一感觉装置和第二感觉装置的第一边缘计算装置；以及核心云网络，其被配置为与边缘计算装置或至少两个传感装置通信，最接近的可用的边缘计算装置与核心云网络数据通信并且被配置为：从第一传感装置和第二传感装置接收第一感测信号和第二感测信号；确定第一信号何时超过第一阈值达第一预定时间，并且随后确定第二信号何时超过第二阈值达第二预定时间；将第一信号和第二信号相关，以生成第一相关性模式；确定第一感测信号超过第一阈值与第二感测信号超过第二阈值之间的滞后时间；以及将第一相关性模式和滞后时间作为输入提供给至少两个循环神经网络(RNN)，至少两个循环神经网络可操作地彼此连接，以向决策制定模块提供输入，从而至少基于第一相关性模式和滞后时间中的一个或多个来将患者映射到医学状况的阶段。

一个方面的任何特征都适用于本文确定的所有方面。此外，一个方面的任何特征可以以任何方式独立地、部分地或全部地与本文描述的其它方面组合，例如，一个、两个或三个或更多个方面可以全部或部分地组合。此外，一个方面的任何特征可以于其它方面是可选的。方法的任何方面可以包括用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的系统的另一方面，并且用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的系统的任何方面可以被配置为执行另一方面的方法。此外，方法的任何方面可以包括用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的边缘计算装置的另一方面，并且用于处理人类相关数据以利用边缘和云的分布式机器学习来制定个性化和情境感知决策的边缘计算装置的任何方面可以被配置为执行另一方面的方法。

附图说明

图1是用于使用分布式边缘计算和机器学习制定决策的系统的实施例的高级框图。

图2是用于如在图1的系统上执行的处理人体生理信号的实施例的框图。

图3是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的实施例的框图。

图4A是如图1中标识的边缘机器学习系统的实施例的框图。

图4B是如图1中标识的核心网络/云健康分析服务的实施例的框图。

图4C是用于使用分布式边缘计算和机器学习制定决策的系统的另一实施例的高级框图。

图5是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。

图6是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。

图7是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。

图8是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。

图9是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。

图10是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的实施例的框图。

图11是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。

图12是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。

图13是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。

图14是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。

图15是更详细的示例注意力网络和多信号记忆聚合的框图。

图16是更详细的在特定时间步处的示例注意力图和多信号记忆聚合的框图。

图17A是输出标量的决策制定的实施例的框图。

图17B是输出二进制决策的决策制定的实施例的框图。

图17C是输出多类别决策的决策制定的实施例的框图。

图18是示出使用全连接神经网络生成注意力图的实施例的框图。

图19是用于为特定目标构建初始模型架构的示例流程的实施例的流程图。

图20是用于处理两个人体生理信号的示例流程的实施例的流程图。

图21是示例多模态(MM)长短期记忆(LSTM)的一部分的实施例的框图，其示出作为输入的LSTM状态和作为单独输入的信号的融合。

图22是示例MM-LSTM的一部分的实施例的框图，其示出来自其它LSTM的信号和隐藏状态如何可以在MM-LSTM内组合。

图23是示例多级修改的(MLM)循环神经网络(RNN)的一部分的实施例的框图，其示出组合包括单独的RNN之间的隐藏状态的信息的示例方式。

具体实施方式

如在各种示例实施例中所描述的，公开了一种用于处理包括生理信号的人类相关数据的系统和方法，以利用边缘和云的分布式机器学习来制定情境感知决策。尽管关于用于使用分布式云和边缘计算和机器学习来制定决策的特定系统来描述示例实施例，但是所描述的技术不限于所公开的实施例。

图1是用于使用分布式云和边缘计算和机器学习制定决策的系统100的实施例的高级框图。图1所示的决策制定系统100仅是示例，并且可以具有不同的结构、形状和/或用户界面。系统100的组件可以直接或间接地彼此连接。系统100的组件还可以彼此有线或无线连接。此外，可以移除某些组件(例如，可选的)或者可以将其它组件添加到决策制定系统100，并且这可以应用于其它附图的框图。系统100包括核心网络/云健康分析服务系统110、私有云/医院服务器120、边缘机器学习(ML)系统130和一个或多个其它边缘ML系统150以及边缘ML系统160。

在一些实施例中，边缘ML系统130和一个或多个其它边缘ML系统150通过有线或无线连接与核心网络云健康分析服务系统110互连。有线连接可以包括使用局域网、广域网、因特网等，并且可以包括使用以太网或其它标准。无线连接可以包括使用Wi-Fi或使用4G、LTE、5G或其它标准的蜂窝连接。

系统100还可以包括一个或多个固定或移动装置(例如相机或摄像机132)以及测量某些人体生理信号(包括但不限于室内患者140或室外患者152的脑电图(EEG)142、心电图(ECG)144、呼吸146和血压148)的装置。在一些实施例中，这些装置132和142至149使用例如无线或电话线(wireline)协议与其附近的一个或多个边缘装置(例如130或150)进行数据通信。

边缘ML系统130可以位于患者家中。它可以通过一个或多个无线协议接收由传感器装置(诸如位于患者身体上的可穿戴装置或贴片或植入在他们身体内部的植入装置)捕获的生理信号。这些传感器装置可以通过无线软件更新来初始化或配置。

系统100还可以包括利用有线、无线或电话线协议连接到边缘ML系统130的显示器134。所捕获的信号可以包括但不限于ECG、光电容积描记法(PPG)、呼吸、肺或身体其它部分的生物阻抗(充血)、血压(BP)、脉搏血氧计(SpO

传感器装置周期性地发送诸如信标的独特信号，并且附近的所有边缘系统接收该信号并测量接收到的信号的信号强度。边缘系统彼此协调测量的信号强度，并且具有最高接收信号强度的边缘系统指定用于该传感装置的信道以启动链路并且与边缘系统通信。

私有云/医院服务器120可以与可以包括机器学习和增强现实(AR)/虚拟现实(VR)的边缘系统160有线或无线通信。在诸如医院或门诊诊所(医生办公室)的机构中，人们可以使用边缘系统160，例如，以具有AR/VR能力，用于与健康护理专业人员执行远程过程，健康护理专业人员包括但不限于用于高级远程医疗或结肠镜检查或其它服务的医生、医师助理或护士。

在一些实施例中，作为核心网络/云健康分析服务系统110(在下文中与云可互换地使用)的一部分，提供健康和分析服务的云监测中心从位于患者家中的大量边缘装置接收所有生理数据，并将数据存储在其数据库中(见图4B)。云110可以是平台无关的(使用容器，其可以在Amazon AWS、Microsoft Azure、Google或其它提供商上运行)，并且通过核心网络，其可以连接到其它机构的私有云/医院服务器120，所述其它机构包括但不限于健康系统、医院、门诊诊所、医疗组、过渡护理、疗养院、康复中心和家庭健康护理机构。云监测中心可以通过灵活的API(例如图4B所示)集成任何机构(例如健康系统或医院)的电子病例(EMR)。

每一个移动装置在通过发送服务请求而被开启时或者在从睡眠中唤醒时可以经历发现模式。诸如130和150的边缘装置可以处于监听模式，并且在定位了新装置后，最近的边缘可以向新装置分配服务时隙。每一个边缘装置可以通过通信链路连接到核心网络(云)110。此外，例如，当移动装置需要切换到新的边缘装置并且它正在快速行进时，相邻的边缘装置可以直接通信以用于较低延迟的应用。这些固定或移动装置可以是任何装置，包括但不限于身体上的可穿戴装置(诸如手表、服装、腰带或其它可穿戴装置)、贴片或棒、身体内部的植入装置、电话、摄像机、传感器(温度、气压、空气质量)、致动器、机器人、平板电脑、膝上型计算机、TV、显示器、电器、无人机、汽车、公共汽车(以及其上的相机)、火车、自行车、踏板车和摩托车。

边缘ML系统130和150可以是具有机器学习和决策制定能力并且可以提供不同的自动化服务的网关或集线器。在一个被称为健康管理的实施例中，它可以合并来自相机和其它感测装置的所有数据，诸如语音和生命体征，并且执行半监督学习算法，以确定患者的面部表情、情绪、健康和安全或者建议正确的饮食。在另一实施例中，边缘ML系统130和150中的至少一个可以以最小的延迟为诸如急性心力衰竭的预测的严重问题制定决策，并且向医生提供具有解释报告的洞察以进行干预并采取纠正动作。边缘ML系统130和150中的至少一个可以并入来自驻留在云110中的更大数据集的监督学习的任何模型和参数。边缘网关可以位于家中、街道中的灯杆处、汽车中或医院中，并且可以通过有线或无线通信连接到核心网络并且可以无线更新。最新的模型和参数可以无线地被推送到边缘ML系统130和150，其提供诸如关于急性心力衰竭的风险的前馈(feedforward)决策制定(提供风险分数)或预测急性心力衰竭的服务。最新的AI或ML模型和参数可以被推送到边缘ML系统130和150，其例如在患者家中或在企业、办公室或工厂中远程地提供服务。

图4A是如图1中标识的边缘机器学习系统的实施例的框图。图4A中示出了边缘ML系统130和150的示例内部块。四核ARM处理器410(四个A53)是边缘系统130、150内的CPU的示例。神经处理单元(NPU)420是硬件加速器，用于执行例如神经网络模型所需的张量运算(Tensor operations)。NPU 420可以从例如ARM或三星(Samsung)获得。NPU 420可以以更高的速度对来自多个传感器的输入执行神经网络模型的前向路径(推理)，并且与在ARM上运行相比，即使利用诸如ARM NN的现有软件加速器，也可以实现更低的推理时间。因此，本文描述的新颖的机器学习算法可以实时地对边缘进行操作并且实现非常低的延迟。边缘系统130、150包括用于缓冲传感装置输入的足够的存储器430，以及用于利用NPU 420和CPU 410实时处理传感装置输入的足够的RAM 432。边缘系统130、150可以具有内置的4G/5G/LTE-M蜂窝调制解调器450，其可以接收模型的无线更新并且发送无线机器学习结果。边缘系统130、150包括内置Wi-Fi和BLE调制解调器452，以用于与相机或捕获生理信号的可穿戴装置、贴片和植入装置进行无线通信。

边缘系统130、150还可以包括多媒体接口，诸如音频接口440、相机接口442、视频编码器和解码器444以及3D图形加速器446。边缘系统130、150还可以包括SD卡接口434(用于闪存)，其可以用于在网络或因特网断开的情况下启动边缘、加载应用或保存数据以用于稍后恢复。

当前的机器学习模型可以被训练成在边缘系统130、150上运行，以进行面部表情、面部识别、图像分割和处理，以针对高级远程医疗，查看患者的嘴或耳朵内。

边缘网关可以提供不同的服务，并且根据该服务所需的数据速率、所需的移动性和延迟，通过不同的无线接入协议连接到不同的装置。边缘网关可以用于5G中的所有三种类型的用例：高吞吐量用例、低延迟用例和大量装置用例。一些应用或服务可能需要两个或三个5G能力或用例的组合，例如交通控制、工业物联网(IOT)、远程手术、智能家庭和健康管理或智能城市。

为了有助于容量和延迟，可以根据不同装置的位置将它们分配给不同的波束，在该位置中，波束方向和波束宽度是自适应的，并且不同装置可以取决于移动装置在给定时间的位置。在边缘系统上，可以使用更大的天线阵列，而不是在移动装置上。

图4B是如图1中标识的核心网络/云健康分析服务的实施例的框图。图4B中示出了云110的云架构的概述。AWS IoT核410包括组412、装置、核、阴影414、对象416和λ418。可以基于其预期用途(例如，心力衰竭预测)，将不同的边缘装置分配到不同的组412中。每一个边缘装置的阴影414可以在云中维护，这使得即使装置从AWS IoT核410断开，装置的状态也是可用的。这允许系统在装置离线时继续收集和报告关于装置状态的数据。它还允许其它AWS服务请求改变装置状态(如更新生命体征阈值)，甚至对于离线装置；状态改变请求在装置阴影上执行，并且当装置恢复在线时，装置将同步到阴影。

边缘装置可以通过消息队列遥测传输(MQTT)消息直接与AWS IoT核410通信。每种类型的数据消息可以被发布给单独的主题416。云中的一个或多个订阅者可以订阅每一个主题。这允许系统基于数据类型唤起不同的λ函数418。可以通过预定事件，如生命体征阈值越过、患者状态改变和数据传输，自动触发λ函数以执行特定代码。这允许系统使许多功能自动化，包括发送警报、更新数据库和发送提醒。AW S3 420用来触发AWSλ418，以便在通过MQTT消息接收到输入数据之后立即处理输入数据。存在将数据推送到Postgres数据库(DB)456、对象关系数据库系统的单独的λ函数。Postgres DB 456可以用于安全地存储和缩放系统上传的数据集。在PostgreSQL上构建的，基于DB的可靠性、数据完整性和容错性的强的声誉来选择DB。利用PostgreSQL，可以创建新的数据类型(例如，结构化数据类型和文档)，并且可以为系统100构建自定义功能(例如，查询规划和优化)。Postgres DB 456可以用作系统100web应用、患者时间序列数据和机器学习模型的系统主数据存储。

Postgres DB 456可以与EC2服务器450连接，该服务器提供安全和可调整大小的云计算，以及在web服务器452上托管基于系统拦截技术的web应用。每一个EC2实例可执行传统web服务器的所有功能，具有基于系统的当前计算要求按需提供服务器的灵活性的附加益处。EC2服务器450也可运行关于存储在这些数据库中的数据的机器学习458。系统的机器学习块458允许核心网络110将机器学习处理直接嵌入到系统100SQL查询中作为对函数的调用。这还允许通过利用ML优化的云服务器的计算能力来更快地训练和部署系统100模型。除了开发者生成的面向患者的模型，如心力衰竭预测和分类，框458可以从AWS访问现成的机器学习算法和服务。示例是Amazon SageMaker，它通过使用其内置工具来帮助自动化对新的和改进的模型的探索，所述内置工具自动构建、训练和调整机器学习模型。

当在各种页面上填充信息时，系统web应用查询Postgres数据库(Postgres DB)456。为了与各种EMR和其它健康系统集成，系统使用其第三方API 440来经由连接到Postgres DB 456的API引擎454在系统平台与EMR和其它健康系统的平台之间发送和接收数据。这允许系统100直接并安全地获得患者的病历。

特定API取决于特定第三方，但是每一个API允许直接和安全地获得患者的病历。可以解析患者的记录以初始化每一个患者的某些风险模型，包括经训练以基于包括年龄、性别和吸烟历史的患者的病历中的信息将患者分类到风险类别的开源随机森林。系统内部API被维护并保护在系统API引擎454中，它可以执行诸如调用SQL查询和与第三方API 440交互的功能。系统100API的示例包括提供系统web应用、内部数据库和第三方API之间的互操作性的消息中介。

边缘装置130、150可以通过集成和(决策制定)感知能力，实时地进行动作，来提供从预防和早期诊断到慢性病管理再到挽救生命的健康管理。该边缘使得能够并且集成该健康管理服务作为日常生活的一部分，并且该服务可以降低上升的健康护理成本。老年人可以使用该技术在他们的家中享受他们的生活，并且从医院出院的患者也不需要每隔几天再次住入医院。

边缘装置允许监测个人和他/她周围的环境，分析他/她的健康状态，并调整药物、饮食和娱乐，以便使该个人以来自他/她或他们家人的最小努力而获得舒适。边缘技术使得能够作为老年群体的一部分独立生活在他们的家中或他们的套房中，并且降低了家庭和医疗费用。

所描述的技术的实施例描述了如何在系统100中使用边缘计算，诸如通过在边缘处应用人工智能(AI)和机器学习，以使得健康管理在家中甚至在汽车中和城市周围可行并且是成本有效的。

图4C是用于使用分布式边缘计算和机器学习制定决策的系统的另一实施例的高级框图。对于远程过程(小的外科手术甚至是高级的远程医疗)，如图4C所示的边缘到边缘的连接利用了5G核心网络和开放式无线接入网络(O-RAN)，来实现超低的端到端延迟以及没有其它利用AI方案监测的远程患者当前提供的可靠性。通过医生经由相机132观察他/她的嘴或者耳朵以及利用边缘提供的接口听他的心脏143，如图4C所示，医生和患者可以传感到他们在同一房间里。患者可以使用系统语音识别为护士或者医生留消息，或者护理者可以使用边缘上的个性化高精度语音识别ML来控制SpO

边缘可以在诊断和治疗随访中通过使用对个人生理信号的无监督学习，同时利用从更大的群体学习的基线(这被称为基于证据的个性化医学)，来发现新的范例。边缘是患者和护理者(包括医生)的个人助理，通过将分析信号随时间变化的发现结果引起他们的注意力，并让医生制定明智的决策，揭示未知的和正确的个性化治疗。

边缘可以具有例如在智能家庭环境中来自冰箱(诸如使用冰箱内部的重量传感器和/或相机)的每天的用户饮食信息、生理信号以及用户的语音和面部表情。该边缘可以发现用户的健康、诸如ECG的生理信号和关于他们的饮食的快乐、呼吸、睡眠和收听的音乐之间的相关性，使得该边缘了解用户并加强良好的饮食或喜爱的音乐，以获得良好的睡眠、健康和快乐的心情。如果用户的输入质量降低一天，如通过例如饮食或呼吸或睡眠的质量变化所检测到的，并且他们的健康状况在那之后降低(诸如ECG不规律)，则该边缘学习每一个输入的权重并且可以对他们的健康状况建模，预测未来的状况降低，确定问题的原因并且通知用户和他们的医生选择正确的治疗。

期望以下内容：随着时间测量的任何两个(或更多数量)信号(诸如，心率、HRV(压力)、血压、氧饱和度水平、呼吸率、身体活动(类型和步数)、睡眠质量和心律(ECG)不规律性(随着时间的心律失常百分比))的互相关性，以及寻找可以被示出为已经在人中重复的多个独特的相关性模式，以及使用这些特征来预测CHF(复合风险评分或二进制预测)，以及在导致心力衰竭之前治疗该问题。在呼吸急促和HF的其它症状发生之前几小时发现这些生理信号变化，可以指示心力衰竭的风险因子，并且可以将风险水平报告给医生。利用边缘技术可以进行个性化医学和基于证据的诊断，从而降低了由于试验和错误治疗和缺乏正确诊断而导致的风险和错误。

该系统100和服务可以充当任何人的健康顾问和医生的助手。因为心律失常是复杂的并且可能具有与生活方式选择相关的潜在或促成原因，所以开发者通过使用相关性神经网络方案来揭示这些先前未知的潜在或促成原因，以便帮助医生解决他们的患者的健康需求。

图2是用于如在图1的系统上执行的处理人体生理信号的系统200的框图。在一些实施例中，云110中的数据集被用于在云中进行受监督的机器学习，并将参数下载到边缘系统130、150。然后，所描述的技术可以继续图2中所示的用于面部表情的前馈(FF)检测和用于基于证据的个性化医学的无监督机器学习和相关性发现。

参考图2，无线调制解调器210、220、230、240从如图1所示的位于患者140上的传感装置144、148接收不同的信号212、222、232、242，例如ECG、BP、SpO

在一些实施例中，所描述的技术覆盖了检测生物信号依赖性的算法和方法，因为一些生物标记可以用于预防、早期诊断和治疗(精确医学)。

在一些实施例中，系统100例如通过使用结合图9描述的阈值检测器或修改的注意力网络或心律失常检测来检测患者的生命体征何时恶化(异常检测)。异常检测块(920,922)用作开关，在输入信号被确定为超过某一阈值时，该开关开始一系列事件。示例可以包括但不限于，静息心率超过约100bpm，SpO

参考图3，异常检测块300、302、304的输入可以包括来自传感器1到传感器x(如关于图1所描述的)的原始或处理数据(包括提取的特征，例如心率)。尽管图3示出了三个异常检测块和三个传感器，但是在一些实施例中，可以使用两个或三个以上的传感器。当诸如心率的生物电位信号A(Sig_A)超过某一(第一)阈值(X

当生物电位信号B(Sig_B)超过正常范围或第二阈值(或正常表达式)(X

在某些实施例中，每当活动A和活动B都发生时，相关性网络可以生成作为时间的函数的相关性值，而信号A和信号B的两个时间序列可以作为输入呈现给网络。如图3所示，当异常事件发生在相关性块310、312、314的两个输入中时，触发相关性神经网络以执行每对输入之间的这些相关性的计算，并且它还基于边缘系统中的同步时间戳，来计算两个异常事件之间的滞后。

相关性可以由等式1实现：

其中

A＝信号A，

B＝信号B，

m＝在时间窗口w上求和的时间指数，

n＝用于相关性的输出的时间指数，

w＝计算相关性的窗口长度，以及

k＝两个信号之间的滞后参数。

某些实施例在未利用异常检测时计算任何滞后值的相关性。

上述等式仅是示例等式，并且也可以使用其它等式。相关性块310、312、314可以提供两条有用的信息：作为滞后时间的函数的两个信号之间的相关性的量，以及与最大相关性的时间相关联的滞后。滞后由信号A和信号B之间的时间差超过它们各自的阈值来表示。

相关性可以在时间窗口w上计算，可以基于滞后和异常检测阈值以及输入A和B信号保持在阈值之上的时间长度，来动态地设置该时间窗口w。在一个实施例中，w可以是超参数，其可以通过针对给定目标(诸如急性心力衰竭的风险评估)训练相关性的输出来选择。时间窗口可以是活动A窗口和活动B窗口中最短的一个(每一个信号/活动保持在阈值之上的时间段)。可以针对给定疾病或针对给定个体学习异常检测阈值和相关性阈值。

图20是描绘异常检测块的特定配置的过程2000的流程图。尽管本文参考特定次序描述过程2000，但在各种实施例中，本文的状态可以不同次序执行或省略，且可添加额外状态。这可以应用于附图中的其它流程图。这些块不断地处理它们的输入信号，以检测异常。在步骤2020中，开始信号A 2010或信号B 2015的异常检测。当诸如心率的生物电位信号A2010超过特定阈值，并且在那里停留(高/低)超过大约几分钟时，其可以被标记为异常或事件，例如“活动A”。在决策步骤2030检测到该异常。在该步骤之后，缓冲器2035开始填充检测到异常的信号的样本。另一个信号，在这种情况下是信号B2015，继续针对异常而被监测。如果在决策步骤2040在该信号中检测到异常，则触发单独的缓冲器2045，以开始填充样本。在步骤2050记录滞后“k”或者换句话说为异常事件检测之间的时间差。接下来，在步骤2060，基于例如上述等式1，计算滞后“k”的A和B信号的互相关性。然后，将这些相关性生物标记馈送2070到在本文的不同实施例中描述的机器学习模型。

相关性网络是一种根据多于一个信号的动态特征计算，该信号触发下一级系统机器学习，该下一级系统机器学习可以是互连的多级修改的循环神经网络(RNN)330、332、334。

可以基于从每一个装置接收到对从边缘发送的独特信标的时间调整响应，来同步到达边缘系统的事件。

RNN是一类专门用于处理诸如时间序列的顺序数据的神经网络。这些网络可以扩展到长序列，并且可以处理可变长度的序列。RNN可以从某一初始化状态开始，然后通过在输入序列上迭代来操作。在序列的每一个时间步处，它们将当前序列元素与来自前一时间步的输出组合，并且对该值执行计算以产生下一输出。

相关性网络310、312、314(见图3)加上包括MLM-LSTM的多级修改的循环神经网络(MLM-RNN)可以确定活动A、活动B和活动C之间的相关性是否一致、相同模式是否随时间重复、以及这些生理信号变化之间的滞后对于给定的人是否是独特的。

存在许多输入或因素，其可以被缩减至引起问题(如高需氧量对氧供应、低活动、弱的心输出量以及因此急性心力衰竭)的几个主要因素。

图23是示例多级修改的(MLM)循环神经网络(RNN)的一部分的实施例的框图，其示出组合包括单独的RNN之间的隐藏状态的信息的示例方式。为了寻找活动A、B和C之间的相关性之间的关系，边缘系统可以组合来自单独MLM-RNN 320、322、324的信息。这种信息组合由MLM-RNN之间的垂直箭头表示(也参见图3)。一种组合信息的方法是在每一个RNN单元之间使用隐藏状态的相互交换。这样，在每一个时间步，所有单元可以接收以下作为它们的输入：互相关性信号的下一个输出320-1；它们自己的先前输出320-2；以及来自其它RNN的输出(322-Ct、324-Ct等)，如图23的框图所示。该图描述了一种用于在单独的RNN之间组合信息的方法。作为基本情况，示出了两个RNN。

对于每一个RNN，其先前的单元状态可以通过完全连接的神经网络Wc来路由。例如考虑图23的块320。互相关性信号的下一个输出乘以Wy，并且来自其它RNN的单元状态乘以Wa。所有三个神经网络门的输出在通过双曲正切(tanh)函数之前被求和以产生新的单元状态Ct。这种方法可以扩展到许多RNN。每一个RNN可以将其输出Ct发送到所有其它RNN，以及发送到其自身。为了从其它RNN接收多个输入，每一个RNN将这些多个Ct输入连接成一个矢量，然后使其通过其自己的门Wa。例如，块320在其门Wa处接收多个输入，如在通向Wa的箭头上的文本“322-Ct、324-Ct、……”所示。这种组合信息的方法可以用于具有类似时间动态的信号的组合。由于单元状态在所有RNN之间共享，因此当输入信号沿类似的时标变化时，该方法可以提供最佳性能。

组合来自不同RNN的信息的一种单独的方式是具有观察器，该观察器对跨单独RNN的状态集合进行计算。为了实现这一点，状态的N×T缓冲器可以记录来自N个RNN中的每一个的最后T个状态。状态的张量可由单独的神经架构(如图10的1050中的注意力模块)处理。当需要注意力多个信号的长时间历史时，可使用图18中描述的策略。在该方法中，可以跨状态和跨信号类型在两个维度中生成注意力热图1857。

参考图18，来自RNN库1840的单元状态被缓冲并传递到注意力网络1850，其寻找跨越不同信号和跨越状态的交互；这些交互反映在其输出的两个维度中的每一个中。为了计算注意力系数，通过具有Softmax激活1820的全连接神经网络(FCNN)1810，可以将信号状态的输入序列变换成与输入具有相同形状的缩放因子的矩阵。该矩阵表示跨信号和跨状态的注意力系数，以有效地捕获跨两个域的交互。通过按元素相乘，将该矩阵与输入状态组合，以产生注意力图1857。这个修改的注意力层可以在来自不同信号的其时间锁定的小序列的输入上搜索，并且识别这些信号类型的子集内的重要模式。然后，将在热图中编码的这些模式发送到多记忆聚合器(诸如图15和图16中所示)，以维持较长的时间历史。注意力模块还通过其热图提供更好的可解释性。

活动A时间窗口可以具有与活动B时间窗口不同的长度，并且对于不同的人可以不同。由于可以在具有不同动态的不同系统中产生每一个信号，因此可以将不同的活动归一化。

可以执行将人的活动与他/她的高心率、高血压和呼吸急促相关联。这种发展还涵盖了这些相关性值如何随着时间的推移帮助预测在不跟医生随访的情况下人会预期经历的心力衰竭的风险因子和阶段。这种发展描述了一种新的多级修改的RNN实现，其可以学习风险因子并基于所有相关性模式预测可能的心力衰竭。

已经测量了被诊断为具有心力衰竭的不同阶段的患者的信号，并且已经计算了多个相关性时间序列(曲线)。它们可以作为输入同时呈现给互连的多级修改的RNN架构，该RNN架构将它们的输出发送到图3所示的决策制定块330。

系统100可以使用互连的多级修改的RNN的输出，以基于相关性模式、从其导出的特征以及根据心力衰竭指南在神经网络中学习到的风险因子，将患者映射到其所属的心力衰竭阶段。例如，心输出量和呼吸短促与患者活动的相关性可以用于区分充血性心力衰竭(CHF)患者与运动员。可以执行这种分类的一层是如图18所示的softmax层1820，该softmax层1820的输出表示输入数据属于纽约心脏协会定义的四个心力衰竭类别中的每一个的概率。

图17A是输出标量的决策制定的实施例的框图。图17B是输出二进制决策的决策制定的实施例的框图。图17C是输出多类别决策的决策制定的实施例的框图。在一个实施例中，决策制定块330执行分类决策，例如心力衰竭分类。如图17A至图17C所述，该决策制定可以采取三种不同的形式。

这三种形式可以包括：1)如图17A所示的用于风险评估的正标量(例如，以量化零到100之间的风险评分)；2)如图17B所示的用于预测的二进制格式(是/否)；或3)如图17C所示的用于多类分类(心力衰竭类A、B、C、D)的多类格式。在所有三种情况下，大小为1×D的输入1710、1720、1730可以被传递通过一层全连接神经网络1712、1722、1732，针对k个类(对于正标量，k＝1)，其具有大小为D×k的权重；然后，输出1714、1724、1734将具有形状1×k。这三种方法之间的差异如下。对于图17A中的风险评估，k＝1，因此输出将具有大小1×1。该原始值可以用作决策。对于图17B中的二进制预测，输出可以具有大小1×2。将通过使用返回阵列中最大元素的索引的Argmax函数1726，从该阵列中制定决策。因此，由[0.3,0.7]组成的输出将返回2用于决策，因为最大元素占用索引2。图17C中的多类分类类似于二进制分类，其中k可以是大于2的任何整数，并且Argmax函数1736被用于制定决策。通过并行地馈送多信号记忆输出通过几个不同的层，可以同时制定不同的决策。决策制定块可用于端到端地训练整个系统。在云110中完成训练之后，参数和模型可以用于重新配置边缘系统130、150。

在另一个实施例中，决策制定块可以对MLM-RNN的输出执行分散(scattering)。分散是分割一组数据的问题，使得相比于每一个分区内的患者与其它分区中的患者之间的相似性，每一个分区内的患者彼此更相似。使用多个生物信号和传感器类型的组合可以增加分散算法的辨别力。在一个实施例中，如图3所示，预训练的RNN 320、322、324可以用于动态地分散它们的互相关性输入，以形成这些图。这允许每一个患者在不同的时间点占据参数空间的不同区域；如果基于最近和当前分散的输入，检测到患者在某一时间段处于参数空间的不同子空间中，则可以设置警报。

三个变量的选择可以被分散以制作可解释的图，供临床医生和患者审阅。通过存储随时间变化的动态分散，动画可以用于示出随时间的患者进展或恶化。

在一个示例中，通过分散血压、活动、心率和HRV，心力衰竭患者可以与健康对照区分开。与对照相比，心力衰竭患者更可能具有高血压和较低的HRV。由于他们的心脏工作更难以增加其有效输出，所以他们可能在低到中等活动的时间段期间具有较高的心率。在该示例中，RNN 320可以从血压和HRV获得相关性输出。类似地，RNN322可以从心率和活动中获得相关性输出。这两个相关性可以被分散以区分健康的人与心力衰竭患者。

在一个实施例中，系统100可获得如图3所示的RNN的输出，而不会在单独的RNN的单元状态之间产生串扰。在另一实施例中，系统100可以在单元状态之间存在串扰的情况下(如图23中所解释的)获得如图3所示的RNN的输出。这允许RNN彼此共享信息，以便增加它们作为分散算法的输入的效用。在一些实施例中，这可以通过将图23内的一系列矩阵乘法视为多个线性变换来概念化，该多个线性变换可以用于将输入数据投影到更容易分开的子空间中。

在决策制定块330中可以制定什么类型的决策的几个具体示例：

1)二进制输出作为不良事件(如急性心力衰竭)的高概率的预测。

2)风险评分，量化患者当前总体风险的1至100之间的数字。通过经过具有缩放的sigmoid激活函数的1单位神经网络来进行该预测。

3)心力衰竭分类(NYHA)：基于活动水平和其它症状的存在，纽约心脏协会将心力衰竭分成四类：类别1、2、3和4。通过具有四个单元(针对每一个类为一个单元)的全连接层和Softmax激活来路由多信号记忆可以预测分类。Softmax的输出表示输入数据属于每一个类的概率。

4)心力衰竭分类(ACC)：基于结构性心脏病和心力衰竭症状的存在，美国心脏协会和美国心脏病学院已经开发了分类类型A、B、C和D。通过具有四个单元(针对每一个类为一个单元)的全连接层和Softmax激活来路由多信号记忆可以预测分类。Softmax的输出表示输入数据属于每一个类的概率。

5)心力衰竭亚型：N类上的Softmax激活

a)作为另一个目的，可以训练单独的模型(多个模型)以将患者分类为心力衰竭的若干亚型之一。这些包括射血分数降低与正常。

b)可以训练替代模型以区分左侧和右侧心力衰竭，并识别充血性心力衰竭。

然后，在边缘中，可以利用半监督学习方案来实时优化预训练的互连神经网络的参数。另外，经训练的临床医生的团队可以帮助提供关于来自每一个患者的数据的注释，以便对每一个患者自己的机器学习模型进行微调和个性化。

在一些实施例中，下面示出的等式2提供了在边缘上实时检测的心率(HR)和收缩压(BP)的高度相关性，以显示超过氧供应的氧需求，并且其可以预测心肌缺血或心肌梗塞，尤其是当其具有与降低的活动的相关性时。

其中，“w”是已经超过它们的相应阈值并且已经触发执行这两者之间的相关性的两个活动的较短时间窗口。

量化一些风险因子，其是遗传风险因子加上随时间累积的环境风险因子。这些生物标记可以针对不同的遗传库而被发现。如果有来自一些患者的一些遗传数据，并且可以将这些生物标记中的一些与遗传数据相关联，那么可以建立神经网络模型的参考数据集和参数，其有助于预测具有这些生物标记的人可能具有给定疾病的遗传背景。该系统和方法可以建议患者(保险)进行遗传测试，以确认诊断并在早期开始正确的治疗。

发现这些生物信号依赖性模式为医生提供了新的见解，不仅有助于早期诊断现有疾病，缩小和识别来源，而且有助于发现新的疾病，并基于数据的定量模式(基于证据的医学和精确医学以及个性化医学)选择正确的治疗计划。

图1和图4C中的系统100能够促进生物反馈。可以执行：检测用户情绪和心率的依赖性模式；以及感测情绪；和命令多媒体中心播放音乐和/或播放视频，以调节用户情绪以及感测并且向控制器(多媒体播放器)反馈，以向我们的传感模态(耳朵、眼睛)馈送正确输入。如果该控制回路闭合，则该系统和方法可以用于帮助用户的心率下降，避免烧坏心肌并最终避免心力衰竭或心脏病发作。

在某些实施例中，可以在网络中使用高效设计的多级相关性算法来配置每一个疾病/状况，当多个测量的时间序列被实时地呈现给网络时，该多级相关性算法专用于自配置的多级互连的修改的RNN。一个实施例可以是硬件实现，以获得边缘技术的健康管理应用(例如，急性心力衰竭的预测)的最佳速度和功耗。

在一些实施例中，系统100将来自可穿戴或植入的传感器的一个或多个可测量的生物信号作为其输入。这些生物信号可以包括但不限于：ECG、活动、血压、SpO

多种算法允许边缘提供与个性化医学相结合的远程患者监测。这包括不良事件检测和预测。

存在如关于图3所描述的不同种类的循环神经网络(RNN)320、322、324。一种被称为长短期记忆(LSTM)的RNN被修改为如下所述的两种形式：

在一个实施例中，通过修改LSTM以允许两个输入源，每一个输入源具有不同的采样时间，开发了多模式LSTM(MM-LSTM)。结合图9和图21描述该方法。

通过以下方式实现另一个实施例：将来自给定源(或导出特征)的每一个输入施加到LSTM库内的单个LSTM，然后将注意力施加到多级LSTM(MLM-LSTM)的状态。该MLM-LSTM包含LSTM库。结合图10和图15描述了该方法(图11、图12、图13和图14描述了MLM-LSTM的不同实施例)。

图5是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。在边缘系统130、150内，可以从如图5所示的多个传感器提取特征。特征提取子系统510、512、514根据如图中所示的传感信号计算特征。

在图5中，可以从各种传感器提取特征。这些特征被传递到各个块中，块的输出由决策制定器540整合。在图5所示的多级修改的深度学习方法的一个实施例中，导出特征首先经过诸如LSTM 520、522、524的子块。在该实施例中，这些可以是“原生(vanilla)”LSTM。

通过允许经由各种门连续调节单元存储器，LSTM提供对传统“原生”循环神经网络的改进。它还有助于减轻在反向传播期间的梯度消失和爆炸的问题。

令：

h

W

b

遗忘门：

i.f

输入门：

i.i

Tanh层：

i.

输出门：

i.o

Tanh层将两条路径合并成共享的单元状态。

导出特征被传递到第一LSTM中，以从每一个传感器特征学习模式，然后经过另一MM-LSTM 530、532(如下所述)，以学习两个或更多传感器特征(530)的组合加上来自第一组LSTM的状态的输入上的模式。

第一组LSTM和第二组LSTM的输出在执行决策制定的后面的融合块中被组合(540)。为了将所有先前LSTM的输出组合成一个输入，来自每一个LSTM的输出状态向量可以简单地连接成较长的向量。然后，该向量可以穿过单个全连接层以制定决策。图17中示出了不同类型的决策。

决策制定块的完整描述在上面作为图3描述的一部分进行了描述。下面提供简要描述。

该决策制定器540还可以将一组预测作为其输入，以便基于加权投票计数或其它特征(例如通过Softmax函数映射到预测类别的变换的时间序列数据)来决定(这可以基于LSTM库中的最近十二小时或最近一百二十个状态的数据来给出属于类别2或类别3心力衰竭的概率)。

为了执行投票计数，先前层(520、522、524、530、532)可以使用例如Softmax层来将其输出直接映射到预测。然后，决策制定器540可对这些决策进行投票以确定多数，并将该多数作为其决策进行报告。

对于风险评估，先前层可以计算标量输出，并且决策制定块540可以返回加权平均值作为风险的最终量化。

MM-LSTM可以结合来自不同模态的两个或多个输入。在一个实施例中，对于输入数据的每一个模态使用两个单独的路径，并且每一个模态用不同的权重矩阵来处理。

令：

u

W

b

两个单独的路径通过以下结点被路由：

遗忘门：

i.

ii.

输入门：

ii.

iii.

Tanh层：

ii.

更新：

输出门：

ii.

iii.

Tanh层将两条路径合并成共享的单元状态。

图21是示例多模态(MM)长短期记忆(LSTM)的一部分的实施例的框图，其示出作为输入的LSTM状态和作为单独输入的信号的融合。MM-LSTM可以促进多个不同的输入。通过所开发的MM-LSTM的前向传递，对于大部分路径，两个输入x和y保持独立。为每一个单独的输入保持单独的隐藏状态。通过路由通过独特神经网络权重矩阵集来单独地保持。

为了确定从单元状态2110忘记的信息量，首先为每一个输入计算遗忘系数。这些值每一个都在零到一的范围内。然后，它们一起通过平均模块被路由，该平均模块计算平均比例系数，以该平均比例系数乘以单元状态2110。将该结果按元素乘以单元状态，以便将每一个条目缩放在零与一之间的相同因子中。为了通过相加来更新单元状态2110，将来自每一个单独路径的tanh层的组合输出加到单元状态。结果是新的单元状态2120，将用于下一个时间步。该单元状态通过tanh模块被路由，并且该输出与每一个输出门相乘，以产生新的更新的、单独的隐藏状态。作为另一实施例，系统可以使用对单个特征进行操作的单个LSTM的状态。MM-LSTM的一些输入可以是来自其它LSTM的隐藏状态，例如来自图5所示的LSTM520、522、524。

图22是示例MM-LSTM的一部分的实施例的框图，其示出来自其它LSTM的信号和隐藏状态如何可以在MM-LSTM内组合。图22示出了单元状态2210和新单元状态2220，并且还示出了来自其它LSTM的信号和隐藏状态如何在MM-LSTM内部(如在关于图5描述的MM-LSTM530、532中)组合。通过组合来自不同模态的多个原始信号，该实施例可以提供比“原生”LSTM更显著的创新，该多个原始信号具有在这些信号的动力学上携带的其它LSTM的变化的状态。图22中的附加输入被路由通过与图21中相同的均值和求和块。来自输出门的输出被乘以与图21中相同的tanh(Ct)。这些网络被用在图5中所示的组件530、532、图6中所示的组件640、642、图7中所示的组件740、742、图8中所示的组件830、832以及图9中所示的组件960、962、964中。这种分布式训练可以发生在图1中所示的边缘系统130、150和云110上，以用于监督学习。

对于具有许多输入特征或大的多维输入的机器学习模型，修剪被馈送到模型中的特征的数量通常是有用的。这可以节省处理时间和存储。

一种特征选择方法可以被描述为循环特征消除(RFE)。对于具有N个特征的数据集，RFE试图寻找k＜N个特征的子集，该子集产生在通过使用完整特征集获得的精度的某个阈值内的验证精度。

对于大小为m的每一个模型，其中k＜m<＝N，根据特征的重要性或特征对模型精度的贡献来对特征进行排序。移除最不重要的特征，并且再次在m-1个特征上训练模型。重复该过程，直到仅剩余k个特征，或者直到验证精度降到阈值以下。

在一些实施例中，对于给定任务或目标，通过使用适当的特征选择方案，选择与相关联数据样本上的标签具有最高相关性的特征。在针对给定任务或目标的特征选择之后，云110可以基于给定目标来改变边缘系统130、150中的模型配置。这些实时可重新配置模型允许我们的技术提供用于保健的多个目标和服务，包括但不限于急性心力衰竭预测、心肌梗塞预测、心律失常检测、直立性高血压检测等。

图6示出了新颖的机器学习方法的另一实施例，其中系统100结合了在延长的时间段上学习的方案。在该实施例中，相关性子系统620、622、624与多级修改的LSTM 630、632、634、640、642一起使用，这些LSTM一起工作以将较长序列概括为决策。

特征提取子系统610、612、614根据从传感器1到传感器X接收的传感信号计算特征。例如，可以根据从心脏、坐着或行走感测的心电图(ECG)信号计算心率变化，并且可以根据X、Y、Z加速信号计算步数，以作为表示身体活动的特征。

相关性子系统620、622、624计算从一个或多个传感信号导出的两个特征的相关性。每对信号可以被路由到相关性块620、622、624中的一个，相关性块的相关信号输出被发送到LSTM 630、632、634。

例如，肺充血可以从由胸部生物阻抗传感器记录的信号中提取。相关性子系统620、622、624可以估计两个信号(如HRV的下降和较低活动性；较大的充血和较高的AFIB百分比；较大的充血和较低活动性；较低的氧饱和度水平和较低的身体活动)之间的相关性。这些高相关性可以是帮助预测急性心力衰竭的风险增加的生物标记。

图6采用了多级修改的深度学习方法，其中，候选特征对的每一个相关性输出通过第一LSTM组630、632、634，以学习一个生物标记上的模式，然后通过MM-LSTM 640、642，以学习两个或多个生物标记的组合加上来自第一组LSTM 630、632、634的状态的输入上的模式。第一组LSTM和第二组LSTM的输出可以在可以执行决策制定650的后期融合块中组合。该块与图5所示的决策540相同。结合图17描述了不同类型的决策。这种分布式训练发生在边缘和云上以用于监督学习。

图7是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。图7中描绘的框图在功能上类似于图6中图示的框图，除了用于每一个特征提取模块610、612、614的信号处理块的具体示例。图7的其余部分在功能上类似于图6的其余部分。

在一些实施例中，峰检测块710使用从ECG信号的QRS分量中寻找R峰并返回被称为R-R间隔的峰间间隔的算法。HRV可以从R-R间隔的统计特性计算。身体活动代表日常健康的重要度量。块712可以将来自加速计传感器的信号作为其输入，并且将数据汇总为在某个时间间隔内的身体活动的各种测量结果，诸如步数(患者所走的步数)或燃烧的卡路里。这些身体活动的测量结果可以在传感器上计算，或者由块712使用卷积神经网络(CNN)或其它机器学习模型(诸如随机森林等)来计算，以处理来自加速计的原始3轴信号。

处理原始加速计X、Y、Z数据的一个特定方案是首先使用随机森林来根据这些值对活动类型进行分类。这些活动类型包括坐、躺、步行等。当检测到步行时，通过对平滑信号内的峰的数量进行计数来得到步数。取决于传感器取向，脚步通常沿着Z轴最突出。SpO

图8是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。图8所示的框图类似于图7所示的框图。在框810、812和814处检测到的特征被直接传递到相应的LSTM820、822和824。这使得它在功能上类似于图5中所示的，除了用于每一个特征提取模块510、512、514的信号处理块的特定示例。MM-LSTM 830和832以及决策制定块840与图7的相似。

在图8的配置中，特征对被一起发送到MM-LSTM 830、832中。在MM-LSTM的一个实施例中，一个单独的路径用于输入时序数据的每一个模态。这些单独的信号类型在LSTM的单元状态被更新时合并在模型中。门函数被修改以能够将多于一个时间序列或从多于一个时间序列提取的特征输入到单个LSTM，以组合来自两个信号上的模式的学习。识别出彼此有关或相关但可能彼此滞后的两个信号中的任何显著变化。

图9是用于如在图1的系统上执行的通过决策制定来处理人体生理信号的另一实施例的框图。附图示出特征提取和机器学习算法的一个实施方式。在图9所示的布置中，特征对被传递到各个块中，其输出由决策制定器970进行整合。特征的类型可以包括但不限于心律失常百分比910、心率变异性(HRV)912、身体活动914和血氧饱和度SpO

心律失常检测器910执行心律失常的检测。心律失常检测器910可以包括其输出由LSTM分析的CNN，以及处理LSTM输出的注意力层。首先，CNN在ECG信号的长度上搜索某些特征，例如心跳频率和形状。CNN还可以经由池化层向信号提供时间下采样。CNN的输出表示随时间变化的压缩时间特征。这些被馈送到LSTM，LSTM非常适合于时间序列分析。最后，从LSTM返回的序列被馈送通过注意力层，其通过Softmax层执行多类分类。

通过向医学提供者提供视觉指示，该视觉指示突出了输入信号的每一个段对由模型制定的分类决策的相对贡献，注意力层使得模型变得更加可解释。

另一种提高机器学习模型的可解释性的方式是使用被称为类激活映射(classactivation mapping，CAM)的技术。用于特定类别或类的种类激活图指示由模型用来标识该类别的输入信号的区别区域。例如，在ECG信号的情况下，这将示出ECG轨迹的哪些部分在导致预测某一心律失常类别方面最有影响。

对于输入ECG信号的每一个段，心律失常检测器910可以输出表示包含心律失常的段的比例的数字。例如，对于具有单个室性早搏的10拍的段，PVC的百分比将是10％。这些心律失常比例的序列可以使用如图9和图10所示的相关性块与另一信号组合，或者与另一信号直接组合到如图9所示的MM-LSTM中。替代地，这些比例被单独用作进入LSTM库中的一个的时变输入，如图10所示。

峰检测块912在输入、处理和输出方面与图7的峰检测块710和图8中的块810的较早实例相同。身体活动块914在输入、处理和输出方面与图7的较早实例712和图8中的实例812相同。SpO

来自特征块910、912、914、916的每对信号被路由到相关性块940、942、944，相关性块的相关性信号输出被发送到LSTM 950、952、954。这些对也一起被发送到MM-LSTM 960、962、964中。在MM-LSTM的一个实施例中，一个单独的路径用于输入的时间序列数据的每一个模态。这些单独的信号类型在LSTM的单元状态被更新时合并在模型中。LSTM的门函数被修改以能够将多于一个时间序列或从多于一个时间序列提取的特征输入到单个LSTM，以组合从两个信号上的模式的学习。识别出彼此有关或相关但可能彼此滞后的两个信号中的任何显著变化。这个功能性结合图9、图21和图22进行了说明和描述。LSTM和MM-LSTM输出都被发送到决策制定器970，这将结合图17进一步描述。

在另一个实施例中，我们已经标记为多级修改的LSTM或MLM RNN。在该实施例中，对于每一个模态使用单独的LSTM，并且以下面的方式使用模态。注意力层关注连续的交叉模态的单元状态。该注意力层具有弹性机制，以聚集不同的数据速率输入，并捕获具有宽注意力条(2D注意力热图)的输入的不同时间间隔之间的相关性。输出被馈送到门控存储器中，以存储交叉模态交互的历史。这将结合图10(也在图3中用于MLM RNN)更详细地描述。

在图9的实施例中，峰检测块912的HRV和活动块914的步数可能需要在异常缓冲器和延迟块920中缓冲，并被对齐，然后传递到相关性块中。对于活动检测，注意力块922用于识别低活动区域。该块922可以用于寻找输入信号的(一个或多个)重要段，以及用于对输入信号进行分类的分类决策。新的输出被用于定位输入信号中的某些模式，以便突出下游块的相应时间步。在一个示例中，步数或活动类型被用作输入，并产生检测活动减少的热图，作为关注块922的新输出，以馈送到MM LSTM 960和相关性块942。缓冲的HRV信号与注意力图一起被传递到相关性块942中。注意力图的额外的目的地是相关性块940以计算与心律失常的百分比的互相关性；以及MM-LSTM 962以组合注意力图与缓冲的HRV 920。

当记录输入信号时，将它们保存在诸如异常缓冲器和延迟块的滚动缓冲器中。这使得系统能够总是保持最近的信号历史准备好用于计算。滚动缓冲器开始为空，并且通过将新的样本连接到端部而开始填充输入数据。当缓冲器达到预定长度时，移除缓冲器内部的最旧的值，且移动剩余的值以允许用于新的值的空间附加到最近的值的端部。

在一些实施例中，系统100可以检测患者生命体征何时恶化(异常检测)。实现这一点的一种方式是使用阈值检测器或下面描述的修改的注意力网络或心律失常检测。这些异常检测块920、922用作当确定输入信号超过特定阈值时启动事件序列的开关。示例阈值可以包括但不限于：静息心率高于约100bpm，SpO

存在许多生物信号，其值可以用于直接解码患者状态。示例包括心率变异性和身体活动。在一些情况下，由一个变化信号指示的状态变化通常在单独的生物信号中的另一个状态变化之前，二者具有一定间隔。一个示例是在身体活动减少之前HRV小时的减少。对于这两个信号，它们的互相关性表示描述它们的时间交互的重要特征。如由开发者设计的修改的注意力块帮助首先检测较低身体活动状态，并且其次以最有效的方式运行互相关性，以节省边缘系统130、150上的处理功率和功耗。这允许边缘尺寸更小、便于携带以用于户外使用(以便连接到蜂窝IOT网络)和成本更低。

可以如下对相关性块使用两个选项：

选项1：对于给定的信号对，如果信号之一触发了超越阈值(threshold-crossing)，则该信号与单独的信号一起被路由到相关性块中。然后，为该对信号缓冲器计算互相关性。

选项2：对于给定的一对信号，如果信号之一触发了超越阈值，则它将活动登记为事件，并且将等待另一个信号超越阈值检测。当两个信号都已经超过它们相应的阈值时，相关性块被激活。然后，为该对信号缓冲器计算互相关性。

在一些情况下，可以基于在相关性块的两个输入上应用的简单的超越阈值块来计算滞后。相关性块将两个输入信号和时滞作为输入，以输出在第二信号超越阈值时对齐的两个信号的新表示。在对齐这两个输入之后，它们不仅被输入到相关性块942，而且被输入到可以学习一些交叉信号交互的多模态LSTM块962。

时变相关性信号可以作为输入被馈送到对相关性输出本身的时间过程感兴趣的LSTM 952。例如，相关性信号中的尖锐(平滑)峰表示时间上更瞬态(持久)的相关性。LSTM920、930可以单独使用该信号。

如图9所示，ECG信号通过峰检测块912，以检测QRS部分中的R峰，并因此计算用于导出HR和HR变化(HRV)的RR间隔。一些实施例使用双向LSTM来检测R峰；然而，在训练用于主要任务或目标(如，急性心力衰竭预测)的主要模型之前，该LSTM的训练可以作为子任务发生，所述主要任务或目标的训练基于图9的多模态LSTM 960、962、964、970或将在图10中描述的多级LSTM 1040、1050、1060。

一些信号可能包含不能通过简单的超越阈值检测的重要特征。这提出了为了寻找交互而正确地将两个输入信号对齐到LSTM的挑战。在系统100所使用的解决方案中，注意力块922用于寻找其输入信号的感兴趣区域。

对于一些时变特征，例如身体活动，一些实施例利用注意力层的能力来将输入信号分类到多个类别之一，并且返回表示输入上随时间变化的热图的时变信号。该热图可以用作相关性块(如相关性块940中)的输入，或者用作与其它生理信号组合的LSTM 962的输入。这表示以将一个信号的所提取的特征与其它原始信号组合的方式使用表示热图的注意力权重的新颖方式。

每种类型的生命体征代表对患者当前健康状态的独特视图。这些生命体征各自具有其自己的个体表示空间和动态。从单独模态的生命体征(例如心率、心率变化、BP、SpO

最后，所有工程化的输出和预测被组合并且由决策制定器970解释。结合图17描述不同类型的决策。

图10是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的实施例的框图。参考图10，描述了记忆融合层。由于单独的生物信号的不同时间过程，以及它们可能包含的不同类型的时间特征，对于单个LSTM来说，可能混淆包括几个不同信号的输入数据。为了实现跨不同类型的信号分析的联合，一些实施例扩展了记忆融合网络，以在图10所示的架构中对生物信号的组合进行操作。

在某些实施例中，心律失常检测块1010与关于图9描述的心律失常检测块910相同。峰检测块1012与关于图9描述的峰检测块912相同。活动检测块1014与关于图9描述的活动检测块914相同。在该实施例中，使用血压1016代替SpO

首先，每一个信号类型被单独路由到LSTM库内的其自己的LSTM 1040。信号对也被路由到相关性块1030、1032、1034中，其输出均被发送到LSTM 1040中的一个。处理单独信号的LSTM组1040被共同地认为是库。来自这些LSTM 1040中的每一个的状态的历史被注意力网络1050收集和分析。该注意力网络的输出学习跨时间和跨信号的交互。使用多信号记忆聚合器1060来总结这些交互的历史。

在该实施例中，LSTM库和注意力网络1050一起作为编码器工作，以选择相关信息以传递到下一层。然后，多信号记忆聚合器1060作为解码器工作，以帮助从编码器输出的状态生成预测。决策制定器1070通过变换多信号记忆聚合器1060的输出来制定最终决策，该记忆聚合器1060类似于关于图5描述的决策制定器540，但是不需要将多个向量连接成一个。

图11是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。图11中描述的子系统与图10中说明的相同，除了通过未指定的特征提取模块路由一般信号。该配置示出了从传感器1110、1112、1114、1116的集合中提取的特征的任意组合可以如何通过异常检测块1120、1122、1124、1126路由，然后在经由相关性块1130、1132、1134通过互相关性与另一特征组合之前或之后通过LSTM 1140和MLM-LSTM 1150发送。未处理或互相关的特征通过LSTM 1140的库。通过组件1150、1160、1170的剩余信号路径在功能上与图10中的组件1050、1060、1070中所描绘的那些相同。

图12是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。图12中描述的子系统与图10中所示的类似，但是MLM_LSTM中的每一个LSTM 1240的输入仅包括来自相关性块1230、1232、1234、1236、1238的输出。其余的块1210、1212、1214、1216、1220、1222、1250、1260和1270与图11的那些块类似。

图13是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。图13中描绘的子系统与图12中图示的相同，但是这里LSTM块1240被RNN 1340代替。这用于说明如何用任何循环神经架构的库来替换LSTM的库。其余的块1310、1312、1314、1316、1320、1322、1330、1332、1334、1350、1360和1370与图12的那些块类似。

图14是用于如在图1的系统上执行的通过决策制定来处理人体生理信号并且包括示例注意力网络和示例多信号记忆聚合器的另一实施例的框图。图14中描述的子系统与MLM_LSTM的先前示例相同，除了它完全消除相关性块并包括SpO

不同输入信号中的每一个首先单独传递到LSTM库内的LSTM1040中的一者中。该库中的每一个LSTM可以学习特定信号类型的时间特征。利用单独的LSTM库允许每一类型的信号具有不同的输入、记忆(单元状态)和输出形状，这为具有不同采样率的信号的组合提供灵活性。

图15是更详细的示例注意力网络和多信号记忆聚合的框图。图15更详细地示出了修改的注意力网络和多信号记忆聚合。来自LSTM库1540的单元状态被缓冲并传递到注意力网络1550中，其寻找跨不同信号和跨时间的交互；这些交互反映在其输出的两个维度中的每一个中。为了计算注意力输出X，通过具有Softmax激活1520的全连接神经网络(FCNN)1510，将信号状态的输入序列变换成与输入具有相同形状的缩放因子的矩阵。该矩阵表示跨信号和跨时间的注意力系数，以有效地捕获跨两个域的交互。通过按元素相乘，将该矩阵与输入状态组合，以产生注意力图1557，交叉信号信息用作多信号记忆聚合器1560的输入。多信号记忆聚合器1560可以包括子块，诸如针对时间步1562、1564和1566的注意力图。

在连续交叉模态单元状态上的修改的注意力层可以被定义为：

其中，

X＝注意力图

B

a

这个修改的注意力层可以从不同的信号中搜索其时间锁定的小序列的输入，并且识别这些信号类型的子集内的重要模式。例如，如关于图10所描述的，在伴随的窗口1050期间，心脏收缩BP 1016可以在心律失常百分比1010增加时减小。注意力层1550可以知道该组合是特别危险的，并且相应地对其输出的适当元素进行加权。

对状态的注意力策略可以应用于循环神经网络的库内的任何元素集合。这些元素可以来自任何类型的循环神经架构，包括原生RNN、LSTM等。在原生RNN的情况下，这些元素是隐藏状态，而在LSTM的情况下，这些元素可以是隐藏状态或单元状态。在任一情况下，可以将注意力施加到状态的缓冲器。图18示出了可以将注意力应用于各种循环神经架构的方式。

返回参考图15，来自注意力的交叉信号信息随时间被存储在多信号记忆聚合器1560中，该聚合器是修改的LSTM，其根据注意力输出和它自己的存储存储器来更新它自己的状态。该模型可以捕获跨信号类型和跨时间的交互的较长历史。多信号记忆聚合器1560的输出被馈送到决策制定块1570中以用于预测。

图16是更详细的在特定时间步处的示例注意力图和多信号记忆聚合的框图。图16示出了图15的多信号记忆聚合器1560的示例组件1600。多信号记忆聚合器可以包括三个门。输入门简单地将时间步的注意力图的输入1610通过具有线性激活的神经网络层，以构建对内部单元状态的建议更新。更新门涉及具有sigmoid激活的单独神经网络，其输出指示在下一时间步在所建议的更新中有多少信息要并入到单元状态中。在虚线块1620中描绘了更新门和输入门。由虚线块1630描绘的保持门涉及具有sigmoid激活的另一神经网络，其输出用于控制从先前单元状态本身维持的信息量。这些门中的每一个可以将来自注意力块1610的输出作为其输入。来自这些门中的每一个的输出在虚线求和块1640中求和。该和Ct被传递到决策制定神经网络1670，并且还被存储在存储器1650中以用于下一时间步。

多信号记忆聚合器1560可以基于以下定义来存储交叉模态交互的历史：

1.更新门：

b.u

c.X：来自注意力的输入

d.W

e.W

2.保持门：

a.r

b.W_r:FCNN

c.C

3.更新规则：

a.C

可以通过从多信号记忆聚合器1560获取输出并且将该信息通过决策制定神经网络1570、1670来进行最终预测。通过并行地馈送多信号记忆输出通过几个不同的层，可以同时制定不同的决策。结合图17描述了不同类型的决策制定。

图19中所示的流程图描绘了训练、评估和部署用于系统100的机器学习模型的过程1900。首先，基于期望目标(如目标i)为特定模型选择初始架构。然后，带注释的离线数据集被随机地划分成单独的训练和验证子集。在步骤1910，包括这些子步骤。在训练之前，在步骤1915选择模型超参数(例如，每一个训练批次的大小、学习率、正则化惩罚等)，并且在步骤1920开始模型j的训练。

“模型j”是指在架构和超参数优化的特定阶段期间的模型。在训练步骤1925，模型对训练批次进行预测1930和对验证批次进行预测1935。将输出与该批次的地面实况(ground truth)标签进行比较，并且针对训练批次计算该批次的损失1940和针对验证批次计算该批次的损失1945。验证集不用于更新模型参数，而是仅用于监测训练进度以评估模型在不可见的数据上概括得有多好。一起监测训练和验证损失以评估模型过度拟合。例如，伴随有低训练损失的高验证损失通常表示过度拟合训练集，这意味着模型将不能很好地概括不可见的数据。使用类似梯度下降的机器学习算法，模型参数作为训练损失的函数被更新，目标是减少下一次训练迭代的损失。预测-比较-更新的训练周期持续到训练损失收敛，如在决策步骤1950所确定的，或者验证损失停止下降，如在决策步骤1955所确定的。如果训练损失收敛，则在决策步骤1960将最终验证精度与特定任务的预定阈值进行比较。如果验证精度太低，则使用诸如贝叶斯优化的方法来选择一组新的超参数。如果验证损失停止下降，则超参数也被重新配置。

当最终验证精度足够高时，在步骤1970，整个模型被存储在云中。然后，在步骤1975，对于每一个子模块(例如，图10包含许多LSTM)，由决策步骤1980确定子模块是否适合边缘装置1030、1050上的存储器。如果子模块需要太多的存储器或处理能力或高计算时间(推断时间)，则在步骤1990指定用于云计算。否则，如果它适合于部署在边缘装置上，则在步骤1985，在边缘上更新该特定模型。在一些实施例中，所有边缘系统可以将它们的可用资源传送到云。

所属领域的技术人员将了解，可使用多种不同技术和技艺中的任一者来表示信息和信号。例如，在整个以上描述中可能提及的数据、指令、命令、信息、信号、比特、符号和芯片可以由各种类型的数据和/或信号表示。

所属领域的技术人员将进一步了解，结合本文所公开的示例描述的各种说明性逻辑块、模块、电路、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已大体上在其功能性方面描述了各种说明性组件、块、模块、电路、方法和算法。将此功能性实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为导致脱离本发明的范围。

结合本文所公开的示例描述的各种说明性逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以实现为计算装置的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这种配置。

结合本文所公开的示例描述的方法或算法可直接在硬件中、在处理器执行的软件模块中或在所述两者的组合中体现。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、或者现在已知的或将来可用的任何其它适当形式的数据存储介质中。存储介质可以连接到处理器，使得处理器可以从存储介质读取信息，并且可以向存储介质写入信息。在替代方案中，存储介质可与处理器是一体的。处理器和存储介质可以驻留在ASIC中。

取决于实施例，本文描述的任何方法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件对于方法的实践都是必需的)。此外，在某些实施例中，动作或事件可以同时执行，而不是顺序执行。

提供所公开示例的先前描述以使所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些示例的各种修改，且在不脱离本发明的精神或范围的情况下，本文所限定的一般原理可应用于其它示例。将认识到，本文描述的本发明的某些实施例可在不提供本文陈述的所有特征和益处的形式内体现，因为一些特征可与其它特征分开使用或实践。本文公开的某些发明的范围由所附权利要求书而不是由前面的描述来指示。在权利要求的等效含义和范围内的所有改变都将包含在其范围内。因此，本发明不旨在限于本文示出的示例，而是应符合与本文公开的原理和新颖特征一致的最广范围。

为了概括本发明和相对于现有技术所实现的优点，上面已经描述了本发明的某些目的和优点。当然，应当理解，根据本发明的任何特定实施例，不一定可以实现所有这些目的或优点。因此，例如，本领域技术人员将认识到，本发明可以以实现或优化如本文所教导或建议的一个优点或一组优点的方式来体现或执行，而不必实现如本文所教导或建议的其它目的或优点。

所有这些实施例都在这里公开的本发明的范围内。通过参考附图对优选实施例的详细描述，这些和其它实施例对于本领域技术人员将变得显而易见，本发明不限于所公开的(一个或多个)任何特定优选实施例。