用于诊断行为障碍、发育迟缓和神经损伤的方法、系统和设备

摘要

本文描述了用于评估个体(诸如儿童)的行为障碍、发育迟缓和神经损伤的方法、设备、系统、软件和平台。具体而言，本文描述的是用于分析患有一种或多种行为障碍、发育迟缓和神经损伤的个体的视频和/或音频记录的方法、设备、系统、软件和平台。

说明书

本申请要求于2019年9月6日提交的美国临时申请号62/897,217的权益，该申请的全部内容通过引用并入本文。

背景技术

包括儿童在内的许多个体患有行为障碍、发育迟缓和神经损伤。这些病症的例子包括注意力缺陷多动障碍(attention deficit hyperactivity disorder，“ADHD”)、自闭症(包括自闭症谱系障碍)和言语障碍。

医疗保健提供者通常使用传统的观察技术评估行为障碍、发育迟缓和神经损伤。

发明内容

本文描述了用于评估个体(诸如儿童)的行为障碍、发育迟缓和神经损伤的方法、设备、系统、软件和平台。具体而言，本文描述的是用于分析患有一种或多种行为障碍、发育迟缓和神经损伤的个体的视频和/或音频的方法、设备、系统、软件和平台。与用于评估个体的一种或多种行为障碍、发育迟缓和神经损伤的传统技术相比，本文描述的方法、设备、系统、软件和平台是高效且准确的。

传统上，由于这些病症类型的相关性，行为障碍、发育迟缓和神经损伤难以评估，尤其难以准确和有效地评估。也就是说，每个病症类型类别(例如，行为障碍、发育迟缓和神经损伤)都包含多个病症类型，并且这些病症类型通常在相同的病症类型类别内和跨不同的病症类型类别相关，使得该病症类型具有一个或多个重叠的症状或其他标识符。

每个单一病症类型类别中的病症(例如，行为障碍、发育迟缓或神经损伤)往往是相关的，使得它们具有一个或多个重叠症状或其他标识符。例如，诸如自闭症等的第一次发育迟缓与诸如言语迟缓等的第二次发育迟缓重叠。因此，使用传统技术很难将自闭症与言语迟缓区分开，这可能导致个体接受错误的诊断。类似地，患有两种发育迟缓(例如，自闭症和言语迟缓)的个体可能只有一种发育迟缓被诊断出，而不是两种发育迟缓，因为其中一种发育迟缓的存在可能会在另一种发育迟缓的存在下被忽略(例如，自闭症患者的言语延迟可能会被忽略，反之亦然)。

同样，多个病症类型类别内的病症类型往往是相关的，使得它们具有一个或多个重叠症状或其他标识符。例如，ADHD(一种行为障碍)往往与自闭症(一种发育迟缓)重叠。因此，使用传统技术很难将ADHD与自闭症区分开，这可能导致个体接受错误的诊断。同样，同时患有ADHD和自闭症的个体可能只诊断出其中一种，而不是同时诊断出两种，因为其中一种病症类型的存在可能会在另一种病症类型的存在下被忽略(例如，ADHD患者的自闭症可能会被忽略，反之亦然)。

用于评估具有选自行为障碍、发育迟缓和神经损伤的病症类型类别中的至少一种病症类型的个体的传统技术通常涉及对个体的重复评估，通常收集包括各种测试结果的多种类型的数据。例如，传统技术可能会涉及对个体和/或其看护人进行管理的相对较长的问题集。因此，除了由于评估的条件类型的相关性(如上所述)而导致不准确之外，传统技术通常耗时且效率低下。

与传统技术相比，本文描述的是用于准确和有效地评估个体的至少一种病症类型的方法、设备、系统、软件和平台，该病症类型选自行为障碍、发育迟缓和神经损伤的病症类型类别。更具体地，本文描述的是用于分析选自行为障碍、发育迟缓和神经损伤的病症类型类别中的至少一种病症类型的个体的视频和/或音频数据的方法、设备、系统、软件和平台，以确定至少一种病症类型是否存在或可能存在于个体中。

本文描述的一些实施方式分析输入源(诸如个体的或与个体相关的视频和/或音频源)以便识别行为单元。例如，分析使用移动计算设备记录的视频以识别记录的视频和/或音频内的行为单元。一个或多个行为单元构成高阶行为(higher order behavior)。例如，在一些情况下，包含微笑的行为单元构成幸福的高阶行为。此外，在一些实施方式中，随着时间映射行为单元以创建在一些实施方式中提供关于一个或多个行为单元的附加上下文的时间线。在一些实施方式中，行为模式包括随时间映射的高阶行为和/或行为单元。

在本文描述的方法的一些实施方式中，个体的视频和/或音频用移动计算设备记录并使用机器学习软件模块进行分析，该软件模块识别被记录的视频和/或音频内的一个或多个行为单元。在一些实施方式中，行为单元与一个或多个其他行为单元相关联。在一些实施方式中，行为单元被分类为使用机器学习分类器或其他类型的机器学习建模来构成高阶行为。

在一些实施方式中，所识别的行为单元相对于(例如，所记录的视频和/或音频内的行为单元的出现时间)标记或标签。在一些实施方式中，标记或标签被机器学习软件模块用于将行为单元语境化。

一般而言，本文描述的一些实施方式包括机器学习软件模块，其被训练以接收包括视频和/或音频数据的输入，分析视频和/或音频数据，并生成包括识别的行为单元、识别的多个行为单元、多个行为单元的映射、识别的高阶行为、识别的多个高阶行为以及多个高阶行为的映射中的至少一个的输出。

本文公开了一种用于对个体进行自动视频评估的计算机实施方法，方法包括：利用计算设备接收输入数据，该输入数据包括对个体执行自动视频评估的音频或视频信息中的至少一个；利用计算设备识别输入数据内的多个行为单元，其中多个行为单元中的每个行为单元包括构成高阶行为的行为；和基于来自多个行为单元中的至少一个行为单元，利用计算设备识别高阶行为。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的机器可检测的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种包括口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别高阶行为包括生成多个行为单元的时间线。在一些实施方式中，方法还包括基于多个行为单元或高阶行为的时间线生成行为模式。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，方法还包括生成预测，该预测包括关于行为障碍、发育迟缓或神经损伤的正面分类(positiveclassification)、负面分类(negative classification)或不确定分类(inconclusiveclassification)。在一些实施方式中，方法还包括通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrum disorder，ASD)、社交沟通障碍、受限重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别说明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attention deficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessive compulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，识别输入数据内的多个行为单元和/或识别高阶行为是使用机器学习软件模块完成的。在一些实施方式中，机器学习算法是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，方法还包括提供活动，该活动被配置为引发个体的反应，该响应包括输入数据，该输入数据包括音频或视频信息中的至少一个。在一些实施方式中，该活动提供引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，该方法还包括基于个体识别的高阶行为来调整活动。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体进行自动评估的设备，该设备包括：显示器；和处理器，该处理器配置有以下指令：接收输入数据，该输入数据包括对个人执行自动视频评估的音频或视频信息中的至少一个；识别输入数据内的多个行为单元，其中多个行为单元中的每个行为单元包括构成高阶行为的行为；并基于多个行为单元中的至少一个行为单元识别高阶行为。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的机器可检测的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种包括口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别高阶行为包括生成多个行为单元的时间线。在一些实施方式中，处理器进一步配置有指令以基于多个行为单元或高阶行为的时间线来生成行为模式。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，处理器进一步配置有指令以生成预测，该预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，设备是移动计算设备。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrumdisorder，ASD)、社交沟通障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别说明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attentiondeficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessivecompulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，识别输入数据内的多个行为单元和/或识别高阶行为是使用机器学习软件模块完成的。在一些实施方式中，机器学习算法是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，处理器进一步配置有指令以提供被配置为引起个体的响应的活动，该响应包括输入数据，该输入数据包括音频或视频信息中的至少一个。在一些实施方式中，活动提供引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，处理器进一步配置有指令以基于个体识别的高阶行为来调整活动。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体进行自动行为评估的平台，该平台包括：捕获应用，该捕获应用包括视频和/或音频记录软件，用于在能够捕获个体的一个或多个视频或音频记录的设备上使用；评估应用，该评估应用被配置为从捕获应用接收视频和/或音频记录，并使用一个或多个机器学习算法分析视频和/或音频记录，该机器学习算法被配置为：接收输入数据，该输入数据包括对个体执行自动视频评估的音频或视频信息中的至少一个；识别输入数据内的多个行为单元，其中多个行为单元中的每个行为单元包括构成高阶行为的行为；和基于多个行为单元中的至少一个行为单元识别高阶行为。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的机器可检测的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种包括口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别高阶行为包括生成多个行为单元的时间线。在一些实施方式中，评估应用被配置为基于多个行为单元或高阶行为的时间线来生成行为模式。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，评估应用被配置为生成预测，该预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，设备是移动计算设备。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrum disorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attention deficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessive compulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，识别输入数据内的多个行为单元和/或识别高阶行为是使用机器学习软件模块完成的。在一些实施方式中，机器学习算法是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，评估应用被配置为提供被配置为引起个体的响应的活动，该响应包括输入数据，该输入数据包括音频或视频信息中的至少一个。在一些实施方式中，活动提供了引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，评估应用被配置为基于个体识别的高阶行为来调整活动。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体进行自动行为评估的计算机实施方法，该方法包括：利用计算机设备接收输入数据，该输入数据包括个体的音频或视频信息中的至少一个；利用计算机设备处理输入数据以识别多个行为单元；利用计算机设备评估多个行为单元以确定一个或多个高阶行为；利用计算机设备评估随时间的推移多个行为单元和高阶行为以确定一个或多个行为模式；和基于一种或多种行为模式，利用计算机设备生成对行为障碍、发育迟缓或神经损伤的预测。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的可观察的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种对应于口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，评估多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别一个或多个高阶行为包括生成多个行为单元的时间线。在一些实施方式中，行为模式是基于多个行为单元和/或高阶行为的时间线生成的。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，设备通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrumdisorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attentiondeficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessivecompulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，特征检测算法、高阶行为检测算法、行为模式检测算法或评估算法中的一种或多种是监督学习算法。在一些实施方式中，特征检测算法、高阶行为检测算法、行为模式检测算法或评估算法中的一种或多种是监督学习算法，该监督学习算法选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，设备还包括能够捕捉音频或视频记录的摄像头或麦克风。在一些实施方式中，处理器进一步配置有指令以提供被配置为引起个体的响应的活动，该响应包括输入数据，该输入数据包括音频或视频信息中的至少一个。在一些实施方式中，活动提供引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，处理器进一步配置有指令以通过使用音频识别来分析音频信息以检测一个或多个声音、单词或短语来识别多个行为单元。在一些实施方式中，处理器进一步配置有指令以基于个体确定的高阶行为或行为模式来调整活动。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体进行自动行为评估的设备，该设备包括：显示器；和处理器，该处理器配置有以下指令：接收输入数据，该输入数据包括个体的音频或视频信息中的至少一个；处理输入数据以识别多个行为单元；评估多个行为单元以确定一个或多个高阶行为；随着时间的推移评估多个行为单元和高阶行为以确定一种或多种行为模式；和基于一种或多种行为模式生成对行为障碍、发育迟缓或神经损伤的预测。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的可观察的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种对应于口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，评估多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别一个或多个高阶行为包括生成多个行为单元的时间线。在一些实施方式中，行为模式是基于多个行为单元和/或高阶行为的时间线生成的。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，设备通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrum disorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attention deficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessive compulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，特征检测算法、高阶行为检测算法、行为模式检测算法或评估算法中的一种或多种是监督学习算法。在一些实施方式中，特征检测算法、高阶行为检测算法、行为模式检测算法或评估算法中的一种或多种是监督学习算法，该监督学习算法选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，设备还包括能够捕捉音频或视频记录的摄像头或麦克风。在一些实施方式中，处理器进一步配置有指令以提供被配置为引起个体的响应的活动，该响应包括输入数据，该输入数据包括音频或视频信息中的至少一个。在一些实施方式中，活动提供了引导个体完成活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，处理器进一步配置有指令以通过使用音频识别来分析音频信息以检测一个或多个声音、单词或短语来识别多个行为单元。在一些实施方式中，处理器进一步配置有指令以基于个体确定的高阶行为或行为模式来调整活动。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体进行自动行为评估的平台，该平台包括：捕获应用，该捕获应用包括视频和/或音频记录软件，用于在能够捕获个体的一个或多个视频或音频记录的设备上使用；评估应用，该评估应用被配置为从捕获应用接收视频和/或音频记录，并使用一个或多个机器学习算法分析视频和/或音频记录，该机器学习算法被配置为：接收输入数据，该输入数据包括个体的音频或视频信息中的至少一个；处理输入数据并识别多个行为单元；评估多个行为单元以确定一个或多个高阶行为；随着时间的推移评估多个行为单元和高阶行为以确定一种或多种行为模式；基于一种或多种行为模式生成对行为障碍、发育迟缓或神经损伤的预测；并向用户提供对个体存在的行为障碍、发育迟缓或神经损伤的预测；医疗保健提供者应用，该医疗保健提供者应用被配置为从评估应用接收数据并显示治疗建议。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的可观察的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种对应于口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，评估多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别一个或多个高阶行为包括生成多个行为单元的时间线。在一些实施方式中，行为模式是基于多个行为单元和/或高阶行为的时间线生成的。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。根据权利要求40所述的平台，其中信息或响应包括对问题的回答。在一些实施方式中，预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，平台通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrumdisorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attentiondeficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessivecompulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，特征检测算法、高阶行为检测算法、行为模式检测算法或评估算法中的一种或多种是监督学习算法。在一些实施方式中，特征检测算法、高阶行为检测算法、行为模式检测算法或评估算法中的一种或多种是监督学习算法，该监督学习算法选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，平台能够捕捉个体的一个或多个视频或音频记录，该平台配备有捕捉应用和评估应用。在一些实施方式中，评估应用被配置为提供包括活动的交互模块，该活动被配置为引起个体的响应，该响应包括输入数据，该输入数据包括音频或视频信息中的至少一个。在一些实施方式中，活动提供了引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，评估应用被配置为通过使用音频识别分析音频信息以检测一个或多个声音、单词或短语来识别多个行为单元。在一些实施方式中，交互模块被配置为基于个体确定的高阶行为或行为模式来调整活动。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体的言语或语言进行自动评估和治疗的计算机实施方法，该方法包括：(a)利用一个或多个计算机设备提供交互模块，该交互模块提示个体参与一项或多项数字治疗活动；(b)利用一个或多个计算机设备接收输入数据，该输入数据包括用于参与一项或多项数字治疗活动的个体的音频或视频信息中的至少一个；(c)利用一个或多个计算机设备识别输入数据内的多个行为单元，其中多个行为单元中的每个行为单元包括构成高阶行为的行为；(d)基于多个行为单元中的至少一个行为单元，利用一个或多个计算机设备识别高阶行为；和(e)基于高阶行为，利用一个或多个计算机设备调整一项或多项数字治疗活动中的至少一项。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的机器可检测的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种包括口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别高阶行为包括生成多个行为单元的时间线。在一些实施方式中，方法还包括基于多个行为单元或高阶行为的时间线生成行为模式。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，方法还包括生成预测，该预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，方法还包括通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrum disorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attention deficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessive compulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，识别输入数据内的多种行为单元和/或识别高阶行为是使用机器学习软件模块来完成的。在一些实施方式中，机器学习算法是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，一项或多项数字治疗活动被配置为引起个体的响应，其中该响应被检测为包括音频或视频信息中的至少一个的输入数据。在一些实施方式中，活动提供了引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体的言语或语言进行自动评估和治疗的设备，该设备包括：(a)显示器；和(b)处理器，该处理器配置有以下指令：(i)提供交互模块，该交互模块提示个体参与一项或多项数字治疗活动；(ii)接收输入数据，该输入数据包括用于参与一项或多项数字治疗活动的个体的音频或视频信息中的至少一个；(iii)识别输入数据内的多个行为单元，其中多个行为单元中的每个行为单元包括构成高阶行为的行为；(iv)基于多个行为单元中的至少一个行为单元识别高阶行为；和(v)基于高阶行为调整一项或多项数字治疗活动中的至少一项。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的机器可检测的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种包括口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别高阶行为包括生成多个行为单元的时间线。在一些实施方式中，处理器进一步配置有指令以基于多个行为单元或高阶行为的时间线来生成行为模式。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，处理器进一步配置有指令以生成预测，该预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，处理器进一步配置有指令以通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrum disorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attention deficit andhyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessive compulsivedisorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，识别输入数据内的多个行为单元和/或识别高阶行为是使用机器学习软件模块完成的。在一些实施方式中，机器学习算法是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，一项或多项数字治疗活动被配置为引起个体的响应，其中该响应被检测为包括音频或视频信息中的至少一个的输入数据。在一些实施方式中，活动提供了引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，活动是在个体参与活动时动态调整的。

本文公开了一种用于对个体的言语或语言进行自动评估和治疗的平台，该平台包括：(a)捕获应用，该捕获应用包括视频和/或音频记录软件，用于能够捕获个体的一个或多个视频或音频记录的设备上；(b)评估和治疗应用，该评估和治疗应用被配置为：(i)提供交互模块，该交互模块提示个体参与一项或多项数字治疗活动；(ii)接收输入数据，该输入数据包括用于参与一项或多项数字治疗活动的个体的一个或多个视频或音频记录；(iii)识别输入数据内的多个行为单元，其中多个行为单元中的每个行为单元包括构成高阶行为的行为；(iv)基于多个行为单元中的至少一个行为单元识别高阶行为；和(v)基于高阶行为调整一项或多项数字治疗活动中的至少一种。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的机器可检测的运动或声音。在一些实施方式中，多个行为单元中的至少一个包括由个体发出的面部运动、身体运动或声音。在一些实施方式中，高阶行为中的至少一种包括口头交流或非口头交流。在一些实施方式中，非口头交流包括面部表情、姿势、手势、眼神接触或触摸。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，识别高阶行为包括生成多个行为单元的时间线。在一些实施方式中，处理器进一步配置有指令以基于多个行为单元或高阶行为的时间线来生成行为模式。在一些实施方式中，输入数据还包括由个体的看护人提供的信息或响应。在一些实施方式中，信息或响应包括对问题的回答。在一些实施方式中，处理器进一步配置有指令以生成预测，该预测包括关于行为障碍、发育迟缓或神经损伤的正面分类、负面分类或不确定分类。在一些实施方式中，处理器进一步配置有指令以通过移动计算设备获得音频或视频信息中的至少一个。在一些实施方式中，移动计算设备包括智能电话、平板计算机、膝上型计算机、智能手表或其他可穿戴计算设备。在一些实施方式中，获得音频或视频信息中的至少一个包括捕获个体或人与个体之间的交互的视频片段或音频记录。在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrumdisorder，ASD)、社交交流障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attentiondeficit and hyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessivecompulsive disorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经损伤是自闭症谱系障碍或自闭症。在一些实施方式中，识别输入数据内的多个行为单元和/或识别高阶行为是使用机器学习软件模块完成的。在一些实施方式中，机器学习算法是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。在一些实施方式中，一项或多项数字治疗活动被配置为引起个体的响应，其中该响应被检测为包括音频或视频信息中的至少一个的输入数据。在一些实施方式中，活动提供了引导个体通过活动的虚拟角色。在一些实施方式中，个体的高阶行为或行为模式包括语音的发音、流利度、声音、理解和解码语言的能力、产生和使用语言的能力或其任何组合。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，活动是在个体参与活动时动态调整的。

附图说明

本发明的新颖特征在随附权利要求中具体阐述。通过参考阐述了利用本发明原理的说明性实施方式的以下详细描述和附图将会对本发明的特征和优点获得更好的理解，在附图中：

图1示出了其中提取行为单元的图像的表示。

图2示出了行为单元和高阶行为如何随时间映射以产生行为模式的表示。

图3是用于提供本文描述的机器学习算法和方法的示例性数据处理模块的示意图。

图4示出了适合与本文描述的平台、设备和方法结合的计算机设备。

图5A示出了具有在活动期间向用户提供指导的虚拟角色的图形显示的非限制性图示。

图5B示出了具有在活动期间提供的故事序列的图形显示的非限制性图示。

图5C示出了具有在活动期间由虚拟角色提供的问题的图形显示的非限制性图示。

图6A示出了具有在活动期间向用户提供指令的虚拟角色的图形显示的非限制性图示。

图6B示出了具有对应于故事的故事序列的图形显示的非限制性图示。

图7A示出了图形显示的非限制性图示，其中虚拟角色提示用户查看视觉故事序列并提出对应于故事序列的叙述。

图7B示出了图7A的由图片组成的视觉故事序列的非限制性图示。

图8示出了具有一系列图像的图形显示的非限制性图示，以供用户排列成正确的故事序列。

图9示出了具有用于用户创建故事或叙述的界面的图形显示的非限制性图示。

图10示出了具有通过社交故事提供嵌入干预的活动的图形显示的非限制性图示。

图11示出了具有提供基于游戏的生活技能训练的活动的图形显示的非限制性图示。

图12A、图12B和图12C示出了具有评估结果的图形显示的非限制性图示。

具体实施方式

本文描述了用于评估个体(诸如儿童)的行为障碍、发育迟缓和神经损伤的方法、设备、系统、软件和平台。

在本文描述的实施方式中，分析至少一个视频和/或音频输入并且在其中识别至少一个行为单元。在一些实施方式中，行为单元与一个或多个其他行为单元配对或相关联。

在一些实施方式中，一个或多个行为单元构成被识别的高阶行为。

在一些实施方式中，生成时间线表示，其示出至少一个行为单元在所述时间线内的位置。

通常，行为单元是由被评估特定状况的个体和/或与个体交互的个体所显示的可观察特征或参数。此外，行为单元通常是用于评估被评估特定状况的个体的特定特征或参数。即，随后在本文描述的方法、设备、系统、软件和平台的实施方式中使用观察或确定的一个或多个行为单元，以达到关于被评估个体中存在的状况的评估。

在一些实施方式中，行为单元是个体的运动或声音，其是可检测的并且在临床上与可能存在或不存在诸如行为障碍、发育迟缓或神经损伤等病症相关。

通常，在本文描述的方法、设备、系统、软件和平台的实施方式中，一个或多个行为单元用于评估个体以确定存在或不存在一种或多种个体的行为障碍、发育迟缓和神经损伤的可能性。

在一些实施方式中，行为单元是分析个体的运动或声音。在一些实施方式中，运动或声音由观看个体的视频或音频记录的人观察。在一些实施方式中，通过分析个体的视频或音频记录的软件模块来检测运动或声音。在一些实施方式中，行为是对诸如问题、游戏或事件的刺激的响应。

例如，被评估行为障碍、发育迟缓和/或神经损伤的儿童被问及一个问题，并以微笑、耸肩和可听见的“我不知道”作为回应。在一些实施方式中，微笑、耸肩和语言交流各自是单独的行为单元。

在一些实施方式中，行为单元是由被评估的个体或与被评估的个体交互的另一个个体做出的面部运动。在一些实施方式中，诸如面部动作之类的行为单元用于确定诸如面部表情之类的高阶行为。

构成行为单元的面部动作的非限制性示例包括微笑、皱眉、移动嘴唇、抬高或降低嘴唇高度、收紧嘴唇、咬嘴唇、张开或闭合嘴、撅起嘴唇、皱起嘴唇、舔嘴唇、露出牙齿、露出嘴内部、在说话或言语噪音时移动面部、皱眉、放松眉毛、吸吮或抛光脸颊、抬起眉毛、降低眉毛、抬起内眉、降低内眉、抬起外眉、降低外眉、抬起脸颊或双颊、抬起一个或两个眼睑、降低一个或两个眼睑、收紧一个或两个眼睑、拉唇角、压唇角、抬起下巴、露出舌头、张开嘴唇、紧闭嘴唇、分开嘴唇、下垂下巴、张开嘴巴、朝任何方向看、转动眼睛、交叉眼睛、睁大眼睛、聚焦眼睛、看过去某人或某物、快速移动眼睛、眨眼、颤动眼睑、使眼色、闭眼、睁眼、眯眼或切开眼睛、移动鼻子、扩张鼻孔、收缩鼻孔、嗅探、鼓起脸颊、从嘴里吹气、吸进脸颊、用舌头鼓起脸颊、咬紧下巴、侧向移动下巴、将下巴推出来或推进去、吞咽、咀嚼、移动耳朵或抽搐脸。在一些实施方式中，一些示例，诸如微笑，可以是其自身权利的行为单元，同时是其他个体行为单元的组合。例如，微笑可以包括个体行为单元，诸如露出牙齿、眯起眼睛、抬起眉毛、凹陷脸颊、前额上的皮肤线条上扬和染色皮肤。

在一些实施方式中，行为单元是由被评估的个体或与被评估的个体交互的个体做出的身体运动。

构成行为单元的身体运动的非限制性示例包括向左或向右转动头部、向上或向下转动头部、倾斜头部、向前推动头部、向后拉头部、来回摇头、点头、上下摇头、左右倾斜头部、耸肩、颤抖、抖动、移动手臂、移动腿、移动手、移动脚、移动腹部、移动颈部、移动肩膀、移动骨盆、伸长脖子、拉长脖子、鞭打头部和颈部、重复移动、敲击手指、重复打开和关闭双手、用一只或两只手做手势、用一只或两只手放弃、用手指指点、不由自主地移动、失去平衡、补偿失去的平衡、面部或四肢扭动、身体或四肢抽搐、身体摇晃、手臂拍打、身体旋转、来回跑或走、盯着灯光、咬嘴唇或身体、敲击头部、无法移动身体的一侧而不移动另一侧、移动缓慢或无精打采、经常转移视线、弯曲关节、撞击另一个体或物体、以不寻常的方式控制物体或绷紧肌肉。在一些实施方式中，一些示例，诸如摇摆身体，可以是其自身权利的行为单元，同时是其他个体行为单元的组合。例如，摇摆身体可以包括单独的行为单元，诸如移动身体、向前推动头部和向后拉头部。

在一些实施方式中，行为单元是由被评估的个体或与被评估的个体交互的个体发出的声音。在一些实施方式中，声音是由个体控制的嘴巴、身体或物体发出的。

由构成行为单元的嘴发出的声音的非限制性示例包括语言交流、清晰可听和可理解的语音、不清楚的语音、耳语、喃喃自语、指向或远离记录设备的语音、说话、喊叫、唱歌、嗡嗡声、音量增大的语音、调节音量或音调的语音、声音颤抖的语音、快速语音、缓慢语音、含混不清地说、哭泣、咳嗽、打喷嚏、打鼾、打嗝、呻吟、咯咯笑、气喘、打嗝、可听见的呼气或吸气、吐舌头、吹口哨、喘息、模仿噪音、模仿肠胃胀气、模仿动物、音乐或有节奏的噪音、说各种语言、打鼾、叹气、啧啧地响或打哈欠。在一些实施方式中，由身体发出的声音包括拍手、一只或两只手拍打或敲击身体部位或物体，诸如手指或颈部的骨头断裂、手指或脚的敲击或拍打手臂。

在一些实施方式中，由个体发出的声音、单词或短语用于确定语音和/或语言发展的水平。这样的声音可以包括构成单词单位的语音或音素。可以基于特定的语言设置来检测和/或分析声音(例如，针对语言定制语音检测)。英语语音或音素的非限制性示例包括/b/、/pbp/、/m/、/n/、/t/、/d/、/k/、/g/、/f/、/s/、/y/、

由个体控制的一个或多个物体发出的声音并构成行为单元的非限制性示例包括用物体撞击另一个物体、另一个生物或个体，或者使物体以其他方式发出噪音。在一些实施方式中，行为单元是关于由个体发出的声音的定性观察。例如，口吃、含混不清地说话或口齿不清、说话单调或语调异常。

在一些实施方式中，行为单元包括个体缺乏面部运动、身体运动或声音。例如，如果个体被直接问到一个问题，并且没有用面部动作、身体动作或声音做出反应，那么对刺激的无反应可能是一个行为单元。

行为单元是从可观察的分析会话中识别的，其中个体被评估为某些条件。可观察分析会话可以包括一个或多个问题会话，其中向被评估的个体询问诊断问题。可观察分析会话可以包括一个或多个会话，其中观察到被评估的个体在与另一个个体的交互中。在一些情况下，可观察分析会话包括交互活动(例如，讲故事活动)，在此期间，个体被引导完成活动并提示或以其他方式引出以提供反馈，这些反馈用作分析以识别行为单元的输入数据。

观察可以是现场或实时会话或可观察会话的记录。例如，人类可能会观察实时会话。例如，机器可以使用视频或音频记录技术对会话进行实时视频和/或音频分析，其中通过视频和/或音频记录技术输入到机器中的视频和/或音频是由软件模块实时分析，其中软件模块是机器的一个组件。类似地，可以使用人或机器来分析在另一时间记录的记录视频或音频会话。

可观察会话的分析包括一个或多个行为单元的识别。在一些实施方式中，一个或多个行为单元用于确定是否存在行为障碍、发育迟缓或神经损伤。

在一些实施方式中，行为单元由人识别(称为“人标识符”)。在一些实施方式中，行为单元是通过对个体的视频和音频数据中的面部运动、身体运动或声音的人类识别来创建的。在一些实施方式中，人类分析个体的图像并识别每个图像中的行为单元的位置。在一些实施方式中，人类观看个体的视频并识别视频中的行为单元相对于帧和出现时间中的位置的位置。在一些实施方式中，人类使用图像分析软件来提供以行为单元为基础的更清晰的图像数据。在一些实施方式中，人类分析个体的声音并识别行为单元存在的时间段。在一些实施方式中，音频提取和分析软件用于帮助滤除背景噪声和无关噪声以提供更清晰的行为单元数据。

在一些实施方式中，行为单元由软件模块识别。在一些实施方式中，行为单元是通过软件模块识别个体的视频和音频数据中的面部运动、身体运动或声音来创建的。在一些实施方式中，软件模块分析个体的图像并识别每个图像中的行为单元的位置。在一些实施方式中，软件模块分析个体的图像并识别每个声音中行为单元的位置。在一些实施方式中，软件模块利用识别软件来确定个体的面部和身体。在一些实施方式中，识别多个行为单元包括使用面部识别来分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别多个行为单元包括使用音频识别来分析音频信息以检测一个或多个声音、单词或短语。

在一些实施方式中，行为单元是可通过分析视频数据或可听的计算机化算法确定的任何可见或可听观察。在一些实施方式中，视频或音频数据具有时间分量，诸如视频或音频帧被时间戳，并且与时间戳的视频或音频数据的某个时间接近度内的视频和音频数据相关地进行分析。在一些实施方式中，行为单元可以是人类观察者无法察觉但随着时间分析视频或音频数据的算法可观察到的身体运动或微表情。例如，对个体的视频进行计算机分析，其中眨眼已被识别为行为单元。人类观察者不会识别出眼睛中的任何异常，而计算机算法会指示个体以异常速率眨眼，或者当个体被问到某些问题时，眨眼速率会增加。或者，在一些实施方式中，音频或视频数据中的一个或多个行为单元由每个图像或声音剪辑分析，而不与其他图像或声音剪辑相关。例如，以前已将特定的鬼脸动作确定为与患有自闭症的个体相关的行为单元。个体图像的计算机分析表明行为单元的存在与否与鬼脸发生的时间无关，并且数据用于后续分析或个体以确定诊断。

在一些实施方式中，行为单元由人和软件模块标识两者识别。在一些实施方式中，行为单元由软件或人标识符来识别，然后将所识别的行为单元用作用于机器学习软件模块训练的训练数据，以便训练后的机器学习软件模块随后用于识别新图像和新声音中的行为单位。例如，在一些实施方式中，软件(或人)被用于识别视频或图像中的个体的形式并将被识别的行为单元与个体身体上的位置相关联。例如，软件(或人)可用于确定人脸是否存在于被分析的视频或图像中。如果存在人脸，并且在被识别为人脸的区域中识别出行为单元，则可以将行为单元与脸上的位置进行映射。例如，软件(或人)使用软件将跨多个视频图像的眉毛运动识别为行为单元，然后选择视频图像中眉毛运动存在的位置。软件(或人)确定图像包含人脸并将眉毛位置映射到人脸。识别和映射的图像用于训练机器学习算法。由于眉毛必须映射到脸上的某个位置，因此该算法能够更好地确定是否要识别包含与眉毛相似的物体的新视频图像。

在一些实施方式中，识别行为单元包括使用面部识别软件分析视频信息以检测一个或多个面部运动。在一些实施方式中，识别行为单元包括使用音频识别软件分析音频信息以检测一个或多个声音、单词或短语。在一些实施方式中，音频识别软件分析音频信息以检测对应于语音活动的声音、单词或短语。语音检测算法可用于通过执行一个或多个步骤来检测语音活动，诸如预处理音频信息以去除背景噪声(例如，频谱减法)，识别与指示语音活动的声音、单词或短语相对应的行为单元，或将音频信息的一部分分类为语音或非语音活动。在一些实施方式中，语音检测算法检测构成口语单词的音素，分析音素序列以识别单词和短语，并通过评估语音和/或语言方面来识别是否存在任何语音和/或语言障碍或缺陷，诸如，例如语音的清晰度、流利度、声音、理解和解码语言的能力，以及产生和使用语言的能力。在一些实施方式中，将检测到的语音解析为组成单元并与基线或参考标准进行比较和/或使用一个或多个语音或语言度量进行评估，以生成评估或确定对象的语音或语言水平。

在一些实施方式中，软件模块使用被识别的一个或多个行为单元来确定一个或多个条件是否可能存在于被评估的个体中。确定存在的病症可包括一种或多种行为障碍、发育迟缓和神经损伤。

在一些实施方式中，软件模块被配置为识别存在一种或多种行为障碍的可能性，包括注意力缺陷多动障碍(Attention Deficit Hyperactivity Disorder，ADHD)、对立违抗障碍(Oppositional Defiant Disorder，ODD)、自闭症谱系障碍(Autism SpectrumDisorder，ASD)、焦虑障碍、抑郁症、双相情感障碍、学习障碍或残疾，或行为障碍。在一些实施方式中，注意力缺陷多动障碍包括主要是注意力不集中的ADHD、主要是多动冲动型ADHD或组合的多动冲动和注意力不集中型ADHD。在一些实施方式中，自闭症谱系障碍包括自闭症(经典自闭症)、阿斯伯格综合症、普遍性发育障碍(非典型自闭症)或儿童瓦解性障碍。在一些实施方式中，焦虑症包括恐慌症、恐惧症、社交焦虑症、强迫症、分离焦虑症、疾病焦虑症(疑病症)或创伤后应激障碍。在一些实施方式中，抑郁症包括重度抑郁症、持续性抑郁症、双相情感障碍、季节性情感障碍、精神病性抑郁症、围产期(产后)抑郁症、经前焦虑症、“情境性”抑郁症或非典型抑郁症。在一些实施方式中，双相障碍包括双相I障碍、双相II障碍、循环性障碍或由于另一种医学或物质滥用障碍引起的双相障碍。在一些实施方式中，学习障碍包括阅读障碍、计算障碍、书写障碍、运动障碍(感觉统合障碍)、言语障碍/失语、听觉处理障碍或视觉处理障碍。在一些实施方式中，行为障碍是在任何版本的精神障碍诊断和精神障碍统计手册(Statistical Manual of Mental Disorders，DSM)中定义的障碍。

在一些实施方式中，软件模块被配置为确定存在或不存在一种或多种发育迟缓的可能性，包括自闭症谱系障碍、智力迟钝、脑性麻痹、唐氏综合症、发育迟缓、肌营养不良、脑积水、发育协调障碍、囊性纤维化、胎儿酒精综合征、同型半胱氨酸尿症、结节性硬化症、无β脂蛋白血症、苯丙酮尿症、言语迟缓、粗大运动迟缓、精细运动迟缓、社交迟缓、情绪迟缓、行为迟缓或认知迟缓。在一些实施方式中，智力迟钝包括肾上腺脑白质营养不良、Ito综合征、肢端发育不全、亨廷顿氏病、奥斯科格综合征、艾卡迪综合征或泰萨克斯病。在一些实施方式中，脑性麻痹包括痉挛性脑性麻痹、运动障碍性脑性麻痹、低渗性脑性麻痹、共济失调性脑性麻痹或混合性脑性麻痹。在一些实施方式中，自闭症谱系障碍包括自闭症(经典自闭症)、阿斯伯格综合症、普遍性发育障碍(非典型自闭症)或儿童瓦解性障碍。在一些实施方式中，唐氏综合症包括21三体、嵌合体或易位。在一些实施方式中，肌营养不良症包括杜氏肌营养不良症、贝克尔肌营养不良症、先天性肌营养不良症、强直性肌营养不良症、面肩肱型肌营养不良症、眼咽肌营养不良症、远端肌营养不良症或艾-德肌营养不良症。

在一些实施方式中，软件模块被配置为确定存在或不存在一种或多种神经损伤的可能性，包括肌萎缩侧索硬化、动静脉畸形、脑动脉瘤、脑肿瘤、硬脑膜动静脉瘘、癫痫、头痛、记忆疾病、多发性硬化症、帕金森病、周围神经病、带状疱疹后神经痛、脊髓肿瘤、中风、阿尔茨海默病、皮质基底节变性、克雅氏病、额颞叶痴呆、路易体痴呆、轻度认知障碍、核上性眼肌麻痹或血管痴呆。

在一些实施方式中，行为障碍、发育迟缓或神经损伤包括普遍性发育障碍(pervasive development disorder，PDD)、自闭症谱系障碍(autism spectrum disorder，ASD)、社交沟通障碍、限制性重复行为、兴趣和活动(RRB)、自闭症(“经典自闭症”)、阿斯伯格综合症(“高功能自闭症”)、未特别指明的PDD(PDD-NOS、“非典型自闭症”)、注意力缺陷障碍(attention deficit disorder，ADD)、注意力缺陷和多动障碍(attention deficit andhyperactivity disorder，ADHD)、言语和语言延迟、强迫症(obsessive compulsivedisorder，OCD)、抑郁症、精神分裂症、阿尔茨海默病、痴呆、智力障碍或学习障碍。在一些实施方式中，行为障碍、发育迟缓或神经障碍是自闭症谱系障碍或自闭症。

图1示出了其中提取行为单元的图像的表示。提问人或看护人101与接受检查的个体102交互。提问人或看护人可以要求个体与物体103交互或完成任务。或者，提问人或看护人可以寻求对象的回答。软件模块可检测且临床上与可能存在或不存在行为障碍、发育迟缓或神经损伤相关的个体运动或声音被登记为行为单元。例如，孩子的眼睛运动、孩子的语言交流和孩子的面部以及手部运动都可能是行为单元。在一些情况下，儿童通过自动评估和/或治疗过程提供响应。例如，可以向儿童提供包括交互模块(例如，故事时间)的数字设备，该交互模块提供交互数字体验并引起和/或征求儿童的响应或反馈(例如，视频、音频或其他用户输入，诸如通过按钮/触摸屏)，可以对其进行分析以识别用于确定高阶行为和/或评估儿童状态或进步的行为单元(例如，相对于给定年龄的预期发展的言语或语言发展水平)。

在一些实施方式中，通过编译多个行为单元来确定高阶行为。在一些实施方式中，由本文描述的方法、设备、系统、软件和平台识别的高阶行为是被提供并用作为被评估的个体生成的评估的至少一部分的输出。在一些实施方式中，从观察到的行为单元的集合中识别高阶行为提供了一种组织、情境化和/或更好地评估个体行为单元的方式。

在一些实施方式中，高阶行为包括语言交流、非语言交流、缺乏交流、思想或情绪的表现、对运动的控制、注视或注意力的方向或语言交流的方向。例如，个体的视频可包括微笑、大笑和鼓掌的行为单元。显示的高阶行为可以是幸福或快乐。在一些实施方式中，语言交流可以包括言语或语言障碍、延迟或障碍的迹象或症状。示例包括语音发音、流利度、声音、理解和解码语言的能力以及产生和使用语言的能力方面的障碍或缺陷。在一些实施方式中，使用算法(例如，机器学习算法)分析包含个体语言交流的高阶行为以确定个体是否具有一种或多种行为障碍、发育迟缓和神经损伤或其迹象或症状，例如，相对于个体的预期发展水平(例如，基于年龄)的言语或语言缺陷或延迟。可以将个体实际发展水平的确定(例如，使用言语和/或语言指标评估)与预期发展水平进行比较，以确定个体是否具有一种或多种行为障碍、发育迟缓和神经损伤，例如，言语和/或语言延迟。

在一些实施方式中，语言交流包括可识别的单词和短语、接近可识别的单词和短语、胡言乱语、喋喋不休、大笑、发出哼声、哭泣或任何传达情绪、思想、意图或请求的听觉交流。在一些实施方式中，分析对应于语音的行为单元以确定语音和/或语言发展的度量。例如，这些度量可以包括语音度量，诸如语音的清晰度、流利度和声音，以及语言度量，诸如接受技能(例如，理解和解码语言的能力)和表达技能(例如，产生和使用语言的能力)。作为说明性示例，可以解析音频以识别构成口头输入或来自对象的反馈的特定语音(例如，单个音素或组成单词的音素的集合)，并且可以比较解析的语音根据基线或参考标准语音来确定分数。作为另一个说明性示例，可以针对诸如停顿的存在之类的声学特征评估单词集合。

在一些实施方式中，非语言交流包括指向以引导他人的注意力、触摸人或物体、挥手、拍手、用手或身体握住他人并引导、对物体发出噪音、用面部表情或身体动作表示情绪或想法，或眼睛收缩。在一些实施方式中，非语言交流包括面部表情、姿势、手势、眼神接触或触摸。

在一些实施方式中，思想或情绪的展示通过使用肢体语言和面部表情来发生。在一些实施方式中，情绪包括愤怒、期待、焦虑、冷漠、烦恼、无聊、不快乐、平静、无忧无虑、快乐、紧张、舒适、同情、专注、自信、满足、好奇、喜悦、欲望、绝望、失望、决心、不满、厌恶、沮丧、恐惧、尴尬、嫉妒、兴奋、恐惧、挫折、欢乐、感激、悲伤、内疚、幸福、仇恨、希望、急躁、恼怒、忌妒、喜悦、孤独、爱、不知所措、恐慌、痛苦、偏执狂、骄傲、愤怒、后悔、解脱、不情愿、懊悔、怨恨、悲伤、满足、自怜、羞愧、震惊、沾沾自喜、怀疑、惊奇或担心。

在一些实施方式中，高阶行为包括对运动的控制。在一些实施方式中，通过分析个体的运动并提供个体运动在视频上下文内异常的可能性来确定对动作的控制。在一些实施方式中，运动的控制由与运动控制相关的行为单元的不存在或存在来确定。在一些实施方式中，与运动控制相关的行为单元包括抽搐动作；跌跌撞撞动作、绊倒动作、用四肢或身体撞击物体或人、物体掉落、失去平衡、惊讶的面部表情、沮丧的面部表情、愤怒的面部表情、专注的面部表情、痛苦的面部表情、尴尬的面部表情、哭泣、大喊大叫或与缺乏对运动的控制有关的语言交流。在一些实施方式中，在确定是否存在对运动的控制时考虑个体的年龄、残疾或损伤。在一些实施方式中，个体对运动的控制被确定为百分比，例如，个体可以控制个体运动的约100％、99％、95％、80％、75％、50％或25％。

在一些实施方式中，注视或注意力的方向包括评估对象注视的方向性和注视的长度。在一些实施方式中，注视的方向性和长度与其他运动、个体与之交互的物体或个体与之交互的人相关。例如，评估一个视频，其中一个成年人正在向个体提问并且个体正在回答。评估个体注视的方向以确定个体是否正在与提问人或看护人进行眼神交流，以及持续多长时间。如果引入了额外的刺激，诸如第二个人或动物进入个体附近并且个体将他或她的目光转向额外的刺激，则分析会对此进行解释。在一些实施方式中，个体与提问人或看护人保持目光接触的能力是一种高级行为。

在一些实施方式中，语言交流的方向包括评估对象的语言交流的方向性。在一些实施方式中，交流的方向性和上下文与其他运动、个体与之交互的物体或个体与之交互的人相关。例如，由于个体将他们的声音指向多个方向，因此个体语言交流的音量可能会出现波动。如果交流的预期接收者是静态的，则个体在回答时可能不会面对提问人或看护人。在回答问题时，个体可能会四处走动或转身离开。在一些实施方式中，在语言交流时维持特定方向是高阶行为。

在一些实施方式中，机器学习算法用于识别高阶行为。

随时间观察到的一种或多种高阶行为和/或行为单元可以一起构成一种或多种行为模式。在一些实施方式中，由本文描述的方法、设备、系统、软件和平台识别的行为模式是提供的输出并且用作为被评估的个体生成的评估的至少一部分。在一些实施方式中，从高阶行为和/或行为单元的集合中识别行为模式提供了一种组织、情境化和/或更好地评估个体的高阶行为和行为单元的方式。

在一些实施方式中，行为模式包括随时间映射的行为单元或高阶行为。在一些实施方式中，行为模式包括彼此相关的两个或更多个高阶行为。例如，在回答一个问题时，个体在不断转移视线并在房间里走动时给出口头回答。个体的回答最初解决了这个问题，但回答慢慢减弱，音量减小。高阶行为被确定为在回答时避免目光接触，在回答时避免面对提问人或看护人以及未能回答问题。所识别的行为模式可表明个体无法充分专注于语言交流足够长的时间来回答问题。行为模式或高阶行为可能与ADHD和一种自闭症有关。然而，由于个体的特定行为单元的差异，本文描述的机器学习算法将每个条件分开，并为每个诊断提供概率分数。

在一些实施方式中，行为模式包括响应刺激的能力、执行分配任务的能力、适当的语音响应、适当的运动、专注的能力，或准确感知世界的能力。

在一些实施方式中，机器学习算法用于识别行为模式。

图2示出了行为单元205和高阶行为210如何随时间215映射以产生行为模式220的表示。移动视频和音频捕捉设备201记录个体的视频。经过训练的机器学习算法识别每个行为单元，并随着时间215的推移映射每个行为单元的存在，例如语音、微笑、点、耸肩、站立、大笑、坐下和眼神交流。高阶行为由行为单元210构成，例如词汇量、语调、对话融洽、眼神接触质量、面部表情和指向物体。机器学习算法利用随时间映射的行为单元和高阶行为来产生行为模式220，例如参与程度、注意力跨度和分享的乐趣。

在一些实施方式中，通过记录个体的视频和/或音频数据来评估个体，其中评估视频和/或音频数据是利用本文描述的机器学习算法来执行的。在一些实施方式中，记录个体回答人类提问人或看护人提出的问题。在一些实施方式中，个体在对提问人或看护人做出回答时保持坐姿。在一些实施方式中，允许个体在房间内自由地坐着或移动，同时对提问人或看护人做出回答。在一些实施方式中，个体保持在记录设备的框架中。在一些实施方式中，个体保持在记录设备的可听距离内。在一些实施方式中，可听距离在记录设备的25、10、5或3米或更短的范围内。在一些实施方式中，通过用语言交流回答问题来评估个体。在一些实施方式中，通过用非语言交流回答问题来评估个体。例如，提问人可以要求个体做出诸如微笑之类的面部表情或要求个体表现出诸如兴奋之类的情绪。对此类问题的回答可以评估个体是否能够感知他人的行为并适当地复制行为。在一些实施方式中，提问人与个体交互以引发期望的回答。例如，提问人可以用最喜欢的食物奖励个体或称赞个体。提问人也可以提出问题，使个体感到不舒服或情绪化。在一些实施方式中，没有提问人，并且在没有来自第三方的提示或刺激的情况下记录个体。在一些实施方式中，记录是在记录器的指导下进行的。例如，可以向记录器提供指导以记录个体的睡眠、玩耍、进食、交流或唤起特定情绪。

在一些实施方式中，视频和/或音频记录用移动设备进行。在一些实施方式中，移动设备是智能电话、平板计算机、智能手表或任何具有移动摄像头或记录功能的设备。在一些实施方式中，视频和/或音频记录用固定的摄像头和/或麦克风拍摄。例如，个体可能会在临床医生的办公室被问及问题，并使用安装有麦克风的三脚架上的摄像头记录他们的回答。在一些实施方式中，摄像头是高清摄像头。

在一些实施方式中，本文公开的方法用于帮助诊断行为障碍、发育迟缓或神经损伤。

在一些实施方式中，本文公开的方法用于帮助诊断行为障碍。在一些实施方式中，行为障碍包括注意力缺陷多动障碍(Attention Deficit Hyperactivity Disorder，ADHD)、对立违抗障碍(Oppositional Defiant Disorder，ODD)、自闭症谱系障碍(AutismSpectrum Disorder，ASD)、焦虑障碍、抑郁症、双相情感障碍、学习障碍或残疾，或行为障碍。在一些实施方式中，注意力缺陷多动障碍包括主要是注意力不集中的ADHD、主要是多动冲动型ADHD或组合的多动冲动和注意力不集中型ADHD。在一些实施方式中，自闭症谱系障碍包括自闭症(经典自闭症)、阿斯伯格综合症、普遍性发育障碍(非典型自闭症)或儿童瓦解性障碍。在一些实施方式中，焦虑症包括恐慌症、恐惧症、社交焦虑症、强迫症、分离焦虑症、疾病焦虑症(疑病症)或创伤后应激障碍。在一些实施方式中，抑郁症包括重度抑郁症、持续性抑郁症、双相情感障碍、季节性情感障碍、精神病性抑郁症、围产期(产后)抑郁症、经前焦虑症、“情境性”抑郁症或非典型抑郁症。在一些实施方式中，双相障碍包括双相I障碍、双相II障碍、循环性障碍或由于另一种医学或物质滥用障碍引起的双相障碍。在一些实施方式中，学习障碍包括阅读障碍、计算障碍、书写障碍、运动障碍(感觉统合障碍)、言语障碍/失语、听觉处理障碍或视觉处理障碍。在一些实施方式中，行为障碍是在任何版本的精神障碍诊断和精神障碍统计手册(Statistical Manual of Mental Disorders，DSM)中定义的障碍。

在一些实施方式中，本文公开的方法用于帮助诊断发育迟缓。在一些实施方式中，发育迟缓包括自闭症谱系障碍、智力迟钝、脑性麻痹、唐氏综合症、发育迟缓、肌营养不良、脑积水、发育协调障碍、囊性纤维化、胎儿酒精综合症、同型半胱氨酸尿症、结节性硬化症、无β脂蛋白血症、苯丙酮尿症、阿瑟综合症、言语迟缓、粗大运动迟缓、精细运动迟缓、社交迟缓、情绪迟缓、行为迟缓或认知迟缓。在一些实施方式中，智力迟钝包括肾上腺脑白质营养不良、Ito综合征、肢端骨发育不良、亨廷顿氏病、奥斯科格综合征、艾卡迪综合征或泰萨克斯病。在一些实施方式中，脑性麻痹包括痉挛性脑性麻痹、运动障碍性脑性麻痹、低渗性脑性麻痹、共济失调性脑性麻痹或混合性脑性麻痹。在一些实施方式中，自闭症谱系障碍包括自闭症(经典自闭症)、阿斯伯格综合症、普遍性发育障碍(非典型自闭症)或儿童瓦解性障碍。在一些实施方式中，唐氏综合症包括21三体、嵌合体或易位。在一些实施方式中，肌营养不良症包括杜氏肌营养不良症、贝克肌营养不良症、先天性肌营养不良症、强直性肌营养不良症、面肩肱型肌营养不良症、眼咽肌营养不良症、远端肌营养不良症或艾-德肌营养不良症。

在一些实施方式中，本文公开的方法用于帮助诊断神经损伤。在一些实施方式中，神经损伤包括肌萎缩侧索硬化、动静脉畸形、脑动脉瘤、脑肿瘤、硬脑膜动静脉瘘、癫痫、头痛、记忆障碍、多发性硬化、帕金森病、周围神经病变、带状疱疹后神经痛、脊髓肿瘤、中风、阿尔茨海默病、皮质基底节变性、克雅氏病、额颞叶痴呆、路易体痴呆、轻度认知障碍、核上性眼肌麻痹或血管性痴呆。

在一些实施方式中，本文公开的方法用于帮助诊断行为障碍、发育迟缓或神经损伤。在一些实施方式中，本文描述的方法与诊断行为障碍、发育迟缓或神经损伤的已知技术结合使用。在一些实施方式中，本文描述的方法与临床医生的问卷调查或视频观察结合使用。在一些实施方式中，本文描述的方法提高了已知诊断方法的准确性，或减少了准确诊断所需的时间或资源。

在一些实施方式中，本文公开的方法用于监测行为障碍、发育迟缓和神经损伤的进展或消退。在一些实施方式中，个体已被诊断患有行为障碍、发育迟缓或神经损伤并且正在接受治疗。在一些实施方式中，本文公开的方法用于评估治疗的功效。在一些实施方式中，监测或评估个体状况涉及分析在多个分析会话中检测到的相关行为单元、高阶行为和行为模式的数量和/或频率。在一些实施方式中，本文公开的机器学习模块用于分析每个分析会话的记录并提供进展值。在一些实施方式中，进展值是通过比较每个分析会话随时间的概率得分(见下文)而得出的。例如，一个正在接受自闭症治疗的孩子可能会在3个分析会话中被评估为自闭症。机器学习模块的每次评估都会产生一个概率分数，其用于指示个体患有自闭症的可能性。概率分数在三个会话中降低。这些结果表明，处方治疗是有效的，并且初步诊断是正确的。机器学习算法提供了继续治疗的建议。在一些实施方式中，进展值是从在进展数据上训练的机器学习模块获得的。在一些实施方式中，如临床医生所确定的，进展数据是其行为障碍、发育迟缓和神经损伤已经退化或进展的个体患者的分析会话的记录。临床医生的决定包括在进展数据中。例如，机器学习模块接受了一系列记录的训练，在这些记录中，个体已经接受了ADHD治疗，训练数据包括关于病情是进展还是消退的临床判断。机器学习模块分析被诊断患有ADHD的个体的一系列记录，以确定给定的治疗方案是否有效。机器学习算法确定条件正在发展。机器学习算法提供了一种改变个体治疗和/或重新评估ADHD诊断的建议。

在一些实施方式中，随时间监测行为模式。例如，可能会在多年的过程中评估患有ADHD的个体的能量水平、社交能力和词汇量。

在一些实施方式中，本文公开的系统和方法包括用于评估和/或治疗行为障碍、发育迟缓和神经损伤的一个或多个交互模块。交互模块可以向个体提供一种或多种活动，用于评估或评价和/或治疗行为障碍、发育迟缓或神经损伤，或与障碍、迟缓或损伤相关的症状或认知功能。活动可以是交互活动，其中向个体呈现刺激和相应提示，例如，故事的一部分以及与故事的该部分相关的问题。例如，图5A示出了具有为故事提供指导的虚拟角色的GUI显示的示例。然后故事序列开始(见图5B)。一旦故事序列完成(图6B示出了故事序列的示例)，虚拟角色可以提示个体或用户回答问题(见图5C)或提供指令(见图6A)。可以检测并存储由活动提示的个体的反馈或响应，例如，由计算设备的麦克风和/或摄像头检测音频和/或视频数据。个体的音频和/或视频信息的检测、该信息的处理以识别行为单元，以及行为单元的分析以确定高级行为和/或行为模式可以如贯穿本说明书所描述的那样实施。交互活动的另一个说明性示例是情绪猜测游戏，其中通过提供可以记录为音频信息的口头响应来提示用户猜测图像中一个或多个角色的情绪。交互活动的另一个说明性示例是探索游戏，其中提示用户将摄像头指向不同的物体并描述它们。因此，本平台、设备和方法可以结合各种交互活动。

在一些实施方式中，交互模块被配置为动态地提示用户调整上下文，直到它适合于评估。例如，交互模块会自动要求用户移动他们的脸，直到摄像头可以看到，如果听不到，要求用户大声说话，或者如果视频/摄像头图像太暗，打开灯。

除了本文公开的示例之外，各种活动可以用于提供对个体的数字治疗和/或评估/评价。例如，活动的非限制性示例包括显示图片并提示个体提出描述图片的叙述或故事(见图7A至图7B)。另一个示例是提供一系列图片或图像并提示个体按顺序或适当顺序排列它们的活动(见图8)。又一个示例是提供允许个体使用图形和/或音频元素创建它们自己的故事的GUI工具的活动(见图9)。又一个示例是通过社交故事(见图10)或基于游戏的生活技能培训(见图11)提供嵌入干预的活动。

本文公开的交互模块的显著优势在于它可以促进在活动过程中对个体进行治疗和重新评价或评估的动态过程。这使得交互模块能够响应于输入、反馈或其他收集的用户信息而实时调整或修改。交互模块可以被配置为基于用户的持续评估来修改一项或多项活动的难度，例如，根据语音和/或语言能力度量(例如，发音清晰度、流利度等的测量)，随着孩子变得更加熟练而增加难度，或者如果孩子的熟练程度低于最低限度，就降低难度。例如，如果确定当前活动的难度过高(例如，孩子在回答问题或发音时有困难，导致发音错误率高于50％)，然后可以调整难度在同一会话期间向下，而个体仍在参与活动。可替代地或组合地，在会话结束后修改或调整活动，以便将诸如难度之类的任何变化合并到下一个会话中。这个过程可以在活动之间或在同一活动期间重复发生(例如，周期性地或连续地)。在一些实施方式中，交互模块基于对在活动期间收集的用户信息的评估(或在一些情况下，从活动结束之后的后续测试或评估收集的信息)随时间修改或调整活动。活动的修改可以基于个体的进展。例如，个体可能成功地达到了语音和/或语言能力的目标指标(例如，口头表达声音成功的阈值百分比等)，这可能导致调整活动或下一个活动以增加难度或个体用户的挑战。

使用交互模块执行的语音评估可以包括各种条件。可以相对于语音评估进行评估的条件的非限制性示例包括失用症构音障碍和发音障碍。可以相对于语音评估进行评估的条件的非限制性示例包括语音的音韵和音素。可以相对于语音评估进行评估的条件的非限制性示例包括口吃、延长、重复、阻塞和流利性混乱。可以相对于语音评估进行评估的条件的非限制性示例包括声音的结构、神经性和功能性。

在一些实施方式中，交互模块被配置为评估和/或治疗行为障碍、发育迟缓或神经损伤。例如，自闭症谱系障碍具有诸如沟通和社交语用缺陷等核心特征。这些特征可能包括对话中的叙述频率较低、凝聚力降低、难以在叙述中引用心理状态，以及难以使用因果语言。注意力缺陷多动障碍通常以语言障碍为特征，例如，包括较短的话语、较少组织和连贯的语音、更多的序列错误，以及误解和单词替换。因此，交互模块提供了充当数字疗法的活动，其可以帮助个体改善这些特征。

本文公开的系统和方法提供了对包括SSR的传统评估的改进，SSR包括家长访谈、阅读会话的观察和个体的视频记录，以及临床评估，其包括家长访谈、标准化测试(Wh-问题、词汇、图画书)和非正式探究。这些传统的评估既耗时又昂贵。相比之下，本文公开的是提供自动化活动的系统和方法，诸如自动化讲故事活动或模式，在该模式中，个体被引导通过故事同时评估反馈或其他数据以供个体评估各种语音和/或语言度量，例如，包括故事理解、故事回忆或故事复述，以及图片引发的叙述。在一些情况下，可能会提供家长问卷以获取额外的相关输入数据。

在一些实施方式中，交互模块既提供活动又接收或获得对活动的用户输入或响应。例如，用户输入或响应可以包括对问题或提示的回答、可用选项的选择或对活动的改变、在活动期间通过个体的麦克风/摄像头记录获得的音频/视频信息，以及其他形式的可以在活动期间收集的信息。可以主动收集输入或响应，例如，模块会提示用户提供输入或响应，这可以包括通过用户设备的图形用户界面或替代地通过语音音频(可选地包括视频)由用户设备的麦克风和/或摄像头检测的书面或打字回复。或者，可以被动地收集输入或响应，例如，收集音频和视频信息，而不需要个体的主动指令或提示。收集的数据的示例包括自动收集与口语、面部表情或可用于确定行为单元和/或模式的其他数据有关的音频和/或视频数据的麦克风和/或摄像头。在一些实施方式中，活动是动态的，取决于用户参与或输入/反馈。作为示例，活动是一种讲故事模式，它在主动提问和接收用户输入的同时引导个体或用户完成故事。该活动可以包括个体的积极参与，例如，允许个体在故事中扮演角色或角色视角，其中记录了个体发出的口头或音频单词或声音。

在一些实施方式中，软件模块被配置为在活动过程期间评估用户输入、响应、反馈或其他收集的用户数据。在一些实施方式中，分析数据以确定或评估行为障碍、发育迟缓或认知障碍，或一些相关的迹象、症状或认知功能。在一些情况下，识别或评估行为单元和/或高级行为或行为模式。行为单元可以包括被识别为语音(或语音尝试)的说话的声音、单词或短语。在一些情况下，行为单元包括语音元素，诸如语音或音素，分析这些元素以识别构成语音的单词或短语。

在一些实施方式中，本文公开的系统和方法包括被配置为收集数据(例如，用户语音的音频)的交互模块和被配置为分析数据以检测语音或语言延迟或障碍的诊断或评估模块，或其迹象或症状。在一些实施方式中，评估模块被配置为确定一种或多种发育迟缓的严重程度或与一种或多种发育迟缓(例如，语音或语言迟缓)相关的症状或认知功能。非限制性示例包括语音和/或语言水平、情绪识别、非语言交流(例如，声音发育缺陷的程度)、阅读理解、单词习得，以及其他迹象、症状或认知功能。严重程度可以是分数、类别(例如，损伤或缺陷的低、中或高严重性)，或用于评估这些迹象、症状或认知功能的其他合适的度量。在一些实施方式中，语言障碍或延迟包括特定症状或认知度量。例如，语言障碍可包括语音的发音(例如，孩子如何清楚地表达特定的语音)、流利度(例如，口吃表明缺乏流利度)，以及声音。发音错误包括替换错误，其中孩子能够发出的声音或音素被孩子还不能发出的声音或音素替代，遗漏错误，其中一个声音太难发出(例如，“r”辅音不在“red”中)，其中使用了声音或音素但发音不正确的失真错误，以及添加了其中额外声音或音素的附加错误。

在一些实施方式中，本文公开的系统和方法提供了包括交互活动的交互模块。可以基于目标人口统计(例如，个体的年龄)对交互活动进行个性化或定制。例如，活动可以具有根据个体的年龄调整的难度级别(例如，活动的难度或复杂性可以分为不同的年龄，诸如3、4、5、6、7或8岁)。在一些实施方式中，获得个体的输入或响应，例如，收集个体的音频剪辑(音频数据)。

在一些实施方式中，交互模块向个体或用户提供评估结果。评估结果可以包括对应于精细运动、认知、粗大运动、言语和语言、社交和情绪以及行为类别的评估或性能度量或其分数(见图11A)。可以在交互模块的图形用户界面内选择类别以显示附加的子类别或度量，诸如，例如语音和语言类别的语音、流利度、声音和语言(见图11B)。可以提供对个体评估结果的解释(见图11C)。

在本文描述的方法、设备、系统、软件和平台的一些实施方式中，软件模块用于分析个体的音频信息以识别行为单元和/或高阶行为，以及/或者与语音和/或语言有关的行为模式。在一些实施方式中，软件模块利用一种或多种机器学习算法或模型来使用个体获得的音频数据进行自动语音识别和语音/语言分析。

在一些实施方式中，使用诸如由本文描述的交互模块提供的那些交互活动来获得音频数据。交互模块可以通过诸如智能电话或平板计算机等计算机设备来提供。交互活动可以包括故事和图片描述任务，这些任务可以引发儿童的言语和语言生产，同时需要父母的帮助最少。然后可以由软件模块分析语音和语言数据以进行特征提取和自动诊断评估，例如，语音和/或语言熟练程度。可以处理音频数据以识别语音元素。例如，可以处理音频剪辑以识别表示特定语言(例如，英语)中不同声音单元的音素。

在一些实施方式中，视频或摄像头数据也被获得并单独使用或与音频数据组合用于特征提取和自动诊断评估。视频或摄像头数据通过智能电话或平板计算机的内置摄像头可用于检测面部特征或其他特征。

在一些实施方式中，音频数据被处理以识别对应于语音的声音。在一些实施方式中，音频数据被处理或分析以识别说出的声音、单词或短语。可以分析说出的声音、单词或短语以确定一个或多个与语音和/或语言相关的性能度量或参数。在一些实施方式中，软件模块识别与语音和/或语言相关的声学特征。例如，声学特征可以包括与语音停顿有关的特征，诸如短停顿和/或长停顿的数量、停顿的平均长度、其长度的可变性，以及关于不间断话语的其他类似统计数据。在一些实施方式中，软件模块进行自动语音、韵律和形态句法分析。例如，分析可以包括对话结构的自动测量、基于语音识别的判别句法分析，以及语音中情感配价和情绪唤醒的自动测量。在一些实施方式中，软件模块确定语义相似度测量，例如，对应于一对叙述之间的简单词语重叠测量的词语重叠测量，该叙述被定义为叙述中的词的交集的大小。例如，在确定个体在交互活动期间复述故事的程度与原始故事相对应的程度时，此类测量可能很有用，从而为复述故事的熟练程度提供了一个衡量标准。

可以使用本文公开的算法或模型来分析语音和/或语言数据以确定个体在语音和语言方面的熟练程度。语音熟练程度可以通过发音(例如，产生适合年龄的语音)、流利度(例如，产生具有适合年龄的连续性的语音，可以使用不必要的停顿的次数和持续时间来衡量)以及声音(例如，产生正常的声音质量)来衡量。语言能力可以通过接受性和表达性语言(例如，孩子是否理解口语并产生语音进行交流)以及叙事技巧(例如，孩子是否能够理解、复述和使用语言创造一个有凝聚力的故事)来衡量。

在本文描述的方法、设备、系统、软件和平台的一些实施方式中，机器学习软件模块用于识别一个或多个行为单元，和/或高阶行为，和/或行为模式，和/或指示特定条件是否存在于被评估的个体中的可能性。在一些实施方式中，机器学习软件模块包括机器学习模型(或数据模型)。应当理解，机器学习包含多种架构和数据排列，并且本文的教导不限于任何一种单一类型的机器学习。

本文描述的机器学习软件模块通常使用视频和/或音频数据集进行训练。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元和行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，视频和/或音频数据集包括先前识别的高阶行为。在一些实施方式中，视频和/或音频数据集包括先前识别的高阶行为和行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，视频和/或音频数据集包括先前识别的行为模式和行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元和先前识别的高阶行为。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元、先前识别的高阶行为和行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，视频和/或音频数据集包括先前识别的高阶行为和先前识别的行为模式。在一些实施方式中，视频和/或音频数据集包括先前识别的高阶行为、先前识别的行为模式以及行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元和先前识别的行为模式。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元、先前识别的行为模式以及行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元、先前识别的高阶行为和先前识别的行为模式。在一些实施方式中，视频和/或音频数据集包括先前识别的行为单元、先前识别的高阶行为、先前识别的行为模式以及行为障碍、发育迟缓或神经损伤的诊断。

在一些实施方式中，经过训练的机器学习软件模块分析新视频和/或音频数据，这些数据以前没有与行为单元、高阶行为、行为模式或特定行为障碍、发育迟缓或神经损伤相关联。在一些实施方式中，机器学习软件模块识别新视频和/或音频数据中存在的一个或多个行为单元、高阶行为或行为模式。在一些实施方式中，机器学习软件模块识别新视频和/或音频数据中存在的一个或多个行为单元。在一些实施方式中，机器学习软件模块识别新视频和/或音频数据中存在的一个或高阶行为。在一些实施方式中，机器学习软件模块识别新视频和/或音频数据中存在的一种或多种行为模式。在一些实施方式中，机器学习算法分析新视频和/或音频数据并提供一种或多种行为障碍、发育迟缓或神经损伤存在于被评估的个体中的概率。

在一些实施方式中，一个或多个机器学习软件模块用于识别行为单元、识别高阶行为、识别行为模式以及提供对行为障碍、发育迟缓或神经损伤的诊断。在一些实施方式中，用于识别行为单元的机器学习软件模块是特征检测算法。在一些实施方式中，用于识别高阶行为的机器学习软件模块是高阶行为检测算法。在一些实施方式中，用于识别行为模式的机器学习软件模块是行为模式检测算法。在一些实施方式中，用于诊断行为障碍、发育迟缓或神经损伤的机器学习软件模块是行为评估算法。

在一些实施方式中，机器学习软件模块是监督学习算法。在一些实施方式中，机器学习软件模块选自最近邻、朴素贝叶斯、决策树、线性回归、支持向量机或神经网络。

在一些实施方式中，机器学习软件模块提供概率诊断而不考虑上下文指示符。在一些实施方式中，机器学习软件模块仅通过对视频或音频数据的分析来提供概率诊断。在一些实施方式中，机器学习软件模块通过对视频或音频数据和上下文指示符的分析来提供概率诊断。例如，用户提供了一个5岁男孩的视频数据和音频数据，以回答旨在评估儿童自闭症的问题。在一个实施方式中，机器学习软件模块分析视频和音频数据并且包括由用户输入的与上下文指示符相关的数据，诸如孩子的年龄、性别、疑似诊断、环境和对问题的口头回答的期望。在另一个实施方式中，机器学习软件模块分析视频和音频数据而没有上面示例的上下文指示符。

在一些实施方式中，本文公开的方法利用概率分数来推荐诊断。例如，机器学习软件模块可以分析数据集并确定存在许多指示并分配反映数据集中识别的行为单元、高阶行为或行为模式的重叠程度的不同分数以在用于针对每个指示训练机器学习软件模块的数据集中识别的那些。在一些实施方式中，概率分数是数据如何拟合每个建模指示的反映。在一些实施方式中，一种或多种行为障碍、发育迟缓或神经损伤被给予概率分数。在一些实施方式中，概率分数被称为“预测”。

在一些实施方式中，概率分数阈值可以与概率分数结合使用以确定是否推荐诊断。例如，如果概率分数太低，则不建议对该指示进行诊断。

在一些实施方式中，概率阈值用于调整经过训练的机器学习软件模块的灵敏度。例如，概率阈值可以是1％、2％、5％、10％、15％、20％、25％、30％、35％、40％、45％、50％、55％、60％、65％、70％、75％、80％、85％、90％、95％、98％或99％。在一些实施方式中，如果准确度、灵敏度或特异性低于预定义的调整阈值，则调整概率阈值。在一些实施方式中，调整阈值用于确定训练周期的参数。例如，如果概率阈值的准确度低于调整阈值，则系统可以延长训练周期和/或需要额外的记录和/或身份数据。在一些实施方式中，额外的记录和/或身份数据可以包括在训练数据中。在一些实施方式中，额外的记录和/或身份数据可以用于细化训练数据集。

图3是用于提供本文描述的机器学习算法和方法的示例性数据处理模块300的示意图。数据处理模块300通常包括预处理模块305、训练模块310和预测模块320。数据处理模块可以从数据库中提取训练数据350，或者通过用户界面330获取新数据355。预处理模块可以应用一种或多种转换来标准化训练数据或用于训练模块或预测模块的新数据。可以将预处理的训练数据传递给训练模块，该模块可以基于训练数据构建经过训练的机器学习算法360。训练模块可以进一步包括验证模块315，其被配置为使用任何适当的验证算法(例如，分层K-折叠交叉验证)来验证经过训练的机器学习算法。可以将预处理的新数据传递到预测模块，该预测模块可以通过拟合新数据将关于个体中是否可能存在特定病症(例如，行为障碍、发育迟缓或神经损伤)的预测370输出到使用训练模块构建的机器学习算法。

训练模块用来构建机器学习模型的训练数据350可以包括来自多个对象的多个数据集，每个对象的数据集包括阵列行为单元、高阶行为或行为模式以及对象的行为障碍、发育迟缓或神经损伤的分类。行为单元可以包括机器可检测并且临床上与行为障碍、发育迟缓或神经损伤的可能存在或不存在相关的对象的运动或声音。每个行为单元、高阶行为或行为模式可能与一种或多种发育障碍或病症的识别相关，并且每个相应的行为单元、高阶行为或行为模式可以指示障碍在特定对象中的存在程度。例如，行为模式可以是对象进行想象或假装游戏的能力，并且特定对象的值可以是对应于对象中行为模式的存在程度的分数。可以在对象中观察到行为模式，例如通过对象参与某种行为的视频，并且通过机器学习算法对视频记录的分析来识别行为模式。此外，训练数据中每个对象的数据集还包括对象中存在的任何行为障碍、发育迟缓或神经损伤的分类。例如，分类可以是自闭症、自闭症谱系障碍(autism spectrum disorder，ASD)或非谱系。优选地，分类包括临床诊断，由合格人员诸如有执照的临床心理学家分配，以便提高机器学习算法的预测准确性。训练数据可以包括可从大型数据存储库获得的数据集，诸如可从自闭症遗传资源交换(Autism GeneticResource Exchange，AGRE)获得的自闭症诊断访谈修订版(Autism DiagnosticInterview-Revised，ADI-R)数据和/或自闭症诊断观察计划(Autism DiagnosticObservation Schedule，ADOS)数据，或可从任何其他合适的数据存储库(例如，波士顿自闭症协会(Autism Consortium，AC)、西蒙斯基金会、自闭症研究国家数据库等)获得的任何数据集。替代地或组合地，训练数据可以包括大型的自我报告数据集，这些数据集可以从用户众包(例如，通过网站、移动应用等)获得。

例如，预处理模块305可以被配置为对提取的训练数据应用一个或多个变换以清理和规范化数据。预处理模块可以被配置为丢弃包含虚假元数据或包含很少观察资料的数据。预处理模块可以进一步被配置为标准化行为单元的编码。

训练模块310用于训练机器学习算法。可以构建机器学习算法以基于训练数据捕获给定行为单元、高阶行为或行为模式与特定行为障碍、发育迟缓或神经损伤之间的统计关系(如果有的话)。例如，机器学习算法可以包括多个临床特征与一种或多种行为障碍、发育迟缓或神经损伤的临床诊断之间的统计相关性。给定行为单元可具有用于对待评估的多种行为障碍、发育迟缓或神经损伤中的每一种进行分类的不同预测效用。可以提取描述特定行为障碍、发育迟缓或神经损伤的概率的概率分数，用于预测多种行为障碍、发育迟缓或神经损伤中的每一种。机器学习算法可用于从训练数据中提取这些统计关系，并构建一个模型，当包含一种或多种行为障碍、发育迟缓或神经损伤的数据集适合模型时，该模型可以产生对疾病的准确预测。

可以使用一种或多种机器学习算法来构建用于提供概率分数的机器学习算法，诸如部署逐步向后的行为单元选择和/或图形模型的支持向量机，这两者都可以具有行为单元之间的推断相互作用的优点。可以使用机器学习算法或其他统计算法，诸如卷积神经网络(convolutional neural networks，CNN)、循环神经网络(recurrent neural networks，RNN)、长短期记忆网络(long short term memory networks，LSTM)、交替决策树(alternating decision trees，ADTree)、决策树桩、功能树(functional trees，FT)、逻辑模型树(logistic model trees，LMT)、逻辑回归、随机森林、线性分类器，或本领域已知的任何机器学习算法或统计算法。可以一起使用一种或多种算法来生成集成方法，其中可以使用机器学习集成元算法优化集成方法，诸如增强(例如，AdaBoost、LPBoost、TotalBoost、BrownBoost、MadaBoost、LogitBoost等)以减少偏差和/或方差。一旦从训练数据中导出机器学习算法，该模型就可以用作预测工具来评估对象患有一种或多种疾病的风险。例如，机器学习分析可以使用本领域已知的多种编程语言和平台中的一种或多种来执行，诸如TensorFlow、Keras、R、Weka、Python和/或Matlab。

可替代地或组合地，可以通过与对象的结构化交互来评估对象中感兴趣的行为单元、高阶行为或行为模式。例如，可以要求对象玩诸如计算机游戏之类的游戏，并且对象在游戏中的表现可以用于评估对象的一种或多种行为单元、高阶行为或行为模式。可以向对象呈现一种或多种刺激(例如，通过显示器呈现给对象的视觉刺激)，并且对象对刺激的反应可以用于评估对象的行为单元、高阶行为或行为模式。对象可能被要求执行某项任务(例如，对象可能被要求用他或她的手指弹出气泡)，并且对象对请求的响应或对象执行所请求任务的能力可用于评估对象的行为单元、高阶行为或行为模式。

本公开内容提供了被编程用于实现本公开内容的方法的计算机控制系统。图4示出了适合并入有本文所述的平台、设备和方法的计算机系统401。计算机系统401可以处理本公开内容的信息的各个方面，举例而言，诸如问题和答案、响应、统计分析。计算机系统401可以是用户的电子设施或者是相对于该电子设备远程定位的计算机系统。电子设备可以是移动电子设备。

计算机系统401包括中央处理单元(CPU，本文中也称为“处理器”和“计算机处理器”)405，其可以是单核或多核处理器或者用于并行处理的多个处理器。计算机系统401还包括存储器或存储器位置410(例如，随机存取存储器、只读存储器、快闪存储器)，电子存储单元415(例如，硬盘)，用于与一个或多个其他系统进行通信的通信接口420(例如，网络适配器)，以及外围设备425(诸如高速缓存、其他存储器、数据储存器和/或电子显示适配器)。存储器410、存储单元415、接口420和外围设备425通过诸如主板等通信总线(实线)与CPU405通信。存储单元415可以是用于存储数据的数据存储单元(或数据存储库)。计算机系统401可以借助于通信接口420可操作地耦合至计算机网络(“网络”)430。网络430可以是互联网、因特网和/或外联网，或者内联网和/或与互联网进行通信的外联网。网络430在一些情况下是电信和/或数据网络。网络430可以包括一个或多个计算机服务器，所述计算机服务器可以支持诸如云计算等分布式计算。网络430在一些情况下借助于计算机系统401可以实现对等网络，对等网络可以使得耦合至计算机系统401的设备能够充当客户端或服务器。

CPU 405可以执行可以在程序或软件中体现的机器可读指令序列。指令可以存储在诸如存储器410等存储器位置中。可以将指令引导至CPU 405，指令随后可以用程序指令或以其他方式对CPU 405进行配置以实现本公开内容的方法。由CPU 405执行的操作的示例可以包括取、解码、执行和回写。

CPU 405可以是诸如集成电路等电路的一部分。可以将系统401的一个或多个其他组件包括在该电路中。在一些情况下，电路是应用专用集成电路(ASIC)。

存储单元415可以存储诸如驱动程序、库和保存的程序等文件。存储单元415可以存储用户数据，例如用户偏好和用户程序。计算机系统401在一些情况下可以包括一个或多个附加数据存储单元，所述一个或多个附加数据存储单元是在计算机系统401外部的，诸如位于通过内联网或因特网与计算机系统401进行通信的远程服务器上。

计算机系统401可以通过网络430与一个或多个远程计算机系统通信。例如，计算机系统401可以与用户(例如，父母)的远程计算机系统通信。远程计算机系统和移动通信设备的示例包括个体计算机(例如，便携式PC)、板或平板PC(例如，

可以通过存储在计算机系统401的电子存储位置上(举例而言，诸如存储器410或电子存储单元415上)的机器(例如，计算机处理器)可执行代码来实现如本文所述的方法。机器可执行代码或机器可读代码可以以软件的形式提供。在使用期间，代码可以由处理器405执行。在一些情况下，代码可以从存储单元415中检索并且存储在存储器410上以供处理器405迅速存取。在一些情况下，可以不包括电子存储单元415，并且将机器可执行指令存储在存储器410上。

代码可以被预编译并配置用于与具有适于执行代码的处理器的机器一起使用，或者代码可以在运行时间期间进行编译。代码能够采用可以选择以使得该代码能够以预编译或编译时的方式执行的编程语言来提供。

本文提供的设备和方法的各方面，诸如计算机系统401，可以在编程方面体现。该技术的各个方面可被认为是以在某一类型的机器可读介质上携带或体现的机器(或处理器)可执行代码和/或关联数据的形式的“产品”或“制品”。机器可执行代码可以存储在诸如存储器(例如，只读存储器、随机存取存储器、闪速存储器)或硬盘等电子存储单元上。“存储”类介质可以包括任何或所有的计算机有形存储器、处理器等，或其相关联的模块，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以在任何时间为软件编程提供非暂时性存储。软件的全部或部分有时可以通过因特网或各种其他电信网络进行通信。这样的通信例如可以使得软件能够从一台计算机或处理器加载到另一台计算机或处理器中，例如，从管理服务器或主机计算机加载到应用服务器的计算机平台中。因此，可以承载软件元素的另一类介质包括诸如跨本地设备之间的物理接口、通过有线和光学陆上通信线网络以及通过各种空中链路所使用的光波、电波和电磁波。携带此类波的物理元件，诸如有线或无线链路、光学链路等，也可以视为是承载软件的介质。如本文所使用，除非限制于非暂时性有形“存储”介质，否则诸如计算机或机器“可读介质”等术语是指参与向处理器提供指令以供执行的任何介质。

因此，诸如计算机可执行代码等机器可读介质可以采取许多种形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质例如包括光盘或磁盘，诸如任何(一个或多个)计算机中的任何存储设备等，如附图中所示的可以用于实现数据库的那些等。易失性存储介质包括动态存储器，诸如这样的计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可以采取电信号或电磁信号或者声波或光波(诸如射频(RF)和红外(IR)数据通信过程中产生的那些)的形式。因此，计算机可读介质的常见形式例如包括：软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔纸带、具有孔洞图案的任何其他物理存储介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或筒匣、传送数据或指令的载波、传送这样的载波的电缆或链路，或者计算机可以从中读取编程代码和/或数据的任何其他介质。在将一个或多个指令的一个或多个序列载送到处理器以供执行的过程中可能涉及这些计算机可读介质形式中的许多形式。

计算机系统401可以包括电子显示器835或与其通信，电子显示器435包括用于提供例如问题和答案、分析结果、推荐的用户接口(UI)。UI的示例包括但不限于图形用户接口(GUI)和基于web的用户接口。

本公开内容的平台、设备和方法可以通过随如本文所公开的一个或多个处理器提供的一个或多个算法以及指令来实现。算法可以通过软件在由中央处理单元405执行时的方式来实现。算法例如可以是随机森林、图形模型、支持向量机或其它。

尽管上述步骤示出了根据示例的系统的方法，但本领域普通技术人员基于本文所述的教导将会认识到许多变化。可以按不同的次序完成各步骤。可以添加或删除步骤。一些步骤可以包括子步骤。每当有益于平台时就可以重复步骤中的许多步骤。

如本文所述的每个示例可以与一个或多个其他示例组合。此外，一个或多个示例的一个或多个组件可以与其他示例组合。

本文公开的平台、设备和方法可以结合药物治疗。在一些实施方式中，药物用于治疗本文公开的行为障碍、发育迟缓和神经损伤。在一些实施方式中，监测或评估药物治疗的功效。在一些实施方式中，用于向对象施用药物的方法可以包括：用本文公开的机器学习算法检测对象的行为障碍、发育迟缓或神经损伤；并响应检测到的行为障碍、发育迟缓或神经损伤向对象施用药物。行为障碍、发育迟缓或神经损伤可以包括注意力缺陷障碍(attention deficit disorder，ADD)、强迫症、急性应激障碍、适应障碍、广场恐惧症、阿尔茨海默病、神经性厌食症、焦虑症、丧亲之痛、双相情感障碍、身体畸形障碍、短暂的精神病性障碍、神经性贪食症、行为障碍、妄想障碍、人格解体障碍、抑郁症、破坏性情绪失调障碍、分离性健忘症、分离性障碍、分离性神游症、心境恶劣障碍、进食障碍、性别焦虑症、广泛性焦虑症、囤积障碍、间歇性爆发障碍、盗窃癖、恐慌症、帕金森病、病态赌博、产后抑郁症、创伤后应激障碍、经前烦躁障碍、假性延髓情绪、纵火狂、分裂情感障碍、精神分裂症、精神分裂样障碍、季节性情感障碍、共同精神病性障碍、社交焦虑恐惧症、特定恐惧症、定型运动障碍、图雷特病、短暂性抽动障碍，或拔毛癖。

行为障碍、发育迟缓或神经损伤可包括自闭症谱系障碍，并且药物可以选自利培酮、喹硫平、安非他明、右旋安非他明、哌醋甲酯、甲基苯丙胺、右旋安非他明、哌醋甲酯、胍法新、阿托莫西汀、利地安非他明、可乐定和阿立哌唑；或行为障碍、发育迟缓或神经损伤可包括注意力缺陷障碍(attention deficit disorder，ADD)，并且药物可以选自苯丙胺、右旋苯丙胺、哌醋甲酯、甲基苯丙胺、右旋安非他明、右旋哌醋甲酯、胍法辛、托莫西汀、赖地苯丙胺、可乐定和莫达非尼；或行为障碍、发育迟缓或神经损伤可以包括强迫症，并且药物可以选自丁螺环酮、舍曲林、依他普仑、西酞普兰、氟西汀、帕罗西汀、文拉法辛、氯米帕明和氟伏沙明；或行为障碍、发育迟缓或神经损伤可包括急性应激障碍，并且药物可以选自普萘洛尔、西酞普兰、依他普仑、舍曲林、帕罗西汀、氟西汀、文拉法辛、米氮平、奈法唑酮、卡马西平、双丙戊酸、拉莫三嗪、托吡酯、哌唑嗪、苯乙肼、丙咪嗪、地西泮、氯硝西泮、劳拉西泮和阿普唑仑；或行为障碍、发育迟缓或神经损伤可以包括适应障碍，并且药物可以选自丁西酮、依他普仑、舍曲林、帕罗西汀、氟西汀、地西泮、氯硝西泮、劳拉西泮和阿普唑仑；或行为障碍、发育迟缓或神经损伤可包括广场恐惧症，并且药物可选自地西泮、氯硝西泮、劳拉西泮、阿普唑仑、西酞普兰、依他普仑、舍曲林、帕罗西汀、氟西汀和丁西酮；或行为障碍、发育迟缓或神经损伤可以包括阿尔茨海默病，并且药物可以选自多奈哌齐、加兰他敏、美金刚和卡巴拉汀；或行为障碍、发育迟缓或神经损伤可包括神经性厌食症，并且药物可选自奥氮平、西酞普兰、依他普仑、舍曲林、帕罗西汀和氟西汀；或行为障碍、发育迟缓或神经损伤可包括焦虑症，并且药物可选自舍曲林、依他普仑、西酞普兰、氟西汀、地西泮、丁螺环酮、文拉法辛、度洛西汀、丙咪嗪、地昔帕明、氯米帕明、劳拉西泮、氯硝西泮和普瑞巴林；或行为障碍、发育迟缓或神经损伤可包括丧亲，并且药物可选自西酞普兰、度洛西汀和多塞平；或行为障碍、发育迟缓或神经损伤可以包括暴食症，并且药物可以选自利地塞米芬；或行为障碍、发育迟缓或神经损伤可以包括双相情感障碍，并且药物可以选自托吡酯、拉莫三嗪、奥卡西平、氟哌啶醇、利培酮、喹硫平、奥氮平、阿立哌唑和氟西汀；或行为障碍、发育迟缓或神经损伤可以包括躯体畸形障碍，并且药物可以选自舍曲林、依他普仑和西酞普兰；或行为障碍、发育迟缓或神经损伤可以包括短暂性精神病性障碍，并且药物可以选自氯氮平、阿塞那平、奥氮平和喹硫平；或行为障碍、发育迟缓或神经损伤可以包括神经性贪食症，并且药物可以选自舍曲林和氟西汀；或行为障碍、发育迟缓或神经损伤可以包括行为障碍，并且药物可以选自劳拉西泮、地西泮和氯巴占；或行为障碍、发育迟缓或神经损伤可以包括妄想障碍，并且药物可以选自氯氮平、阿塞那平、利培酮、文拉法辛、安非他酮和丁螺环酮；行为障碍、发育迟缓或神经损伤可包括人格解体障碍，并且药物可选自舍曲林、氟西汀、阿普唑仑、地西泮和西酞普兰；或行为障碍、发育迟缓或神经损伤可以包括抑郁症，并且药物可以选自舍曲林、氟西汀、西酞普兰、安非他酮、依他普仑、文拉法辛、阿立哌唑、丁螺环酮、沃替西汀和维拉佐酮；或行为障碍、发育迟缓或神经损伤可以包括破坏性情绪失调障碍，并且药物可以选自喹硫平、氯氮平、阿塞那平和匹马万色林；或行为障碍、发育迟缓或神经损伤可包括解离性遗忘症，并且药物可选自阿普唑仑、地西泮、劳拉西泮和氯氮卓；或行为障碍、发育迟缓或神经损伤可以包括解离障碍，并且药物可以选自安非他酮、沃替西汀和维拉佐酮；或行为障碍、发育迟缓或神经损伤可以包括解离性神游症，并且药物可以选自阿莫巴比妥、阿普巴比妥、丁巴比妥和美索比妥；或行为障碍、发育迟缓或神经损伤可以包括恶劣心境障碍，并且药物可以选自安非他酮、文拉法辛、舍曲林和西酞普兰；行为障碍、发育迟缓或神经损伤可包括进食障碍，并且药物可以选自奥氮平、西酞普兰、依他普仑、舍曲林、帕罗西汀和氟西汀；或行为障碍、发育迟缓或神经损伤可以包括性别焦虑，并且药物可以选自雌激素、前列腺素和睾酮；或行为障碍、发育迟缓或神经损伤可以包括广泛性焦虑障碍，并且药物可以选自文拉法辛、度洛西汀、丁螺环酮、舍曲林和氟西汀；或行为障碍、发育迟缓或神经损伤可以包括囤积障碍，并且药物可以选自丁螺环酮、舍曲林、依他普仑、西酞普兰、氟西汀、帕罗西汀、文拉法辛和氯米帕明；或行为障碍、发育迟缓或神经损伤可以包括间歇性爆发障碍，并且药物可以选自阿塞那平、氯氮平、奥氮平和匹马万色林；或行为障碍、发育迟缓或神经损伤可以包括盗窃癖，并且药物可以选自依他普仑、氟伏沙明、氟西汀和帕罗西汀；或行为障碍、发育迟缓或神经损伤可以包括惊恐障碍，并且药物可以选自安非他酮、维拉佐酮和沃替西汀；或行为障碍、发育迟缓或神经损伤可以包括帕金森病，并且药物可以选自卡巴拉汀、司来吉兰、雷沙吉兰、溴隐亭、金刚烷胺、卡麦角林和苯托品；或行为障碍、发育迟缓或神经损伤可以包括病理性赌博，并且药物可以选自安非他酮、维拉佐酮和伐替西汀；或行为障碍、发育迟缓或神经损伤可以包括产后抑郁症，并且药物可以选自舍曲林、氟西汀、西酞普兰、安非他酮、依他普仑、文拉法辛、阿立哌唑、丁螺环酮、沃替西汀和维拉佐酮；或行为障碍、发育迟缓或神经损伤可以包括创伤后应激障碍，并且药物可以选自舍曲林、氟西汀和帕罗西汀；或行为障碍、发育迟缓或神经损伤可以包括经前焦虑症，并且药物可以选自雌二醇、屈螺酮、舍曲林、西酞普兰、氟西汀和丁西酮；或行为障碍、发育迟缓或神经损伤可以包括假性延髓情绪，并且药物可选自氢溴酸右美沙芬和硫酸奎尼丁；或行为障碍、发育迟缓或神经损伤可以包括纵火癖，并且药物可以选自氯氮平、阿塞那平、奥氮平、帕利哌酮和喹硫平；或行为障碍、发育迟缓或神经损伤可以包括分裂情感障碍，并且药物可以选自舍曲林、卡马西平、奥卡西平、丙戊酸盐、氟哌啶醇、奥氮平和洛沙平；或行为障碍、发育迟缓或神经损伤可以包括精神分裂症，并且药物可以选自氯丙嗪、氟哌啶醇、氟奋乃静、利培酮、喹硫平、齐拉西酮、奥氮平、奋乃静、阿立哌唑和丙氯拉嗪；或行为障碍、发育迟缓或神经损伤可以包括精神分裂症，并且药物可以选自帕潘立酮、氯氮平和利培酮；或行为障碍、发育迟缓或神经损伤可以包括季节性情感障碍，并且药物可以选自舍曲林和氟西汀；或行为障碍、发育迟缓或神经损伤可以包括共同精神病性障碍，并且药物可以选自氯氮平、匹马万色林、利培酮和鲁拉西酮；或行为障碍、发育迟缓或神经损伤可以包括社交焦虑恐惧症，并且药物可以选自阿米替林、安非他酮、西酞普兰、氟西汀、舍曲林和文拉法辛；或行为障碍、发育迟缓或神经损伤可以包括特定恐惧症，并且药物可以选自地西泮、艾司唑仑、夸西泮和阿普唑仑；或行为障碍、发育迟缓或神经损伤可以包括定型运动障碍，并且药物可以选自利培酮和氯氮平；或行为障碍、发育迟缓或神经损伤可以包括图雷特病，并且药物可以选自氟哌啶醇、氟奋乃静、利培酮、齐拉西酮、匹莫齐特、奋乃静和阿立哌唑；或行为障碍、发育迟缓或神经损伤可以包括短暂性抽动障碍，并且药物可以选自胍法辛、可乐定、匹莫齐特、利培酮、西酞普兰、依他普仑、舍曲林、帕罗西汀和氟西汀；或行为障碍、发育迟缓或神经损伤可以包括拔毛癖，并且药物可以选自舍曲林、氟西汀、帕罗西汀、地昔帕明和氯米帕明。

本文描述了用于确定对象的发育进展的平台、设备和方法。例如，所描述的平台、设备和方法可以将对象识别为在一个或多个发育领域发育先进或在一种或多种认知功能方面认知下降，或将对象识别为发育迟缓或具有一种或多种行为障碍、发育迟缓或神经损伤的风险。所公开的平台、设备和方法可以通过基于评估模型评估对象的多个行为单元来确定对象的进展，其中评估模型可以使用机器学习方法从相关对象群体的大型数据集生成。

本文中的平台、设备和方法在识别对象的一种或多种行为障碍、发育迟缓或神经损伤的背景下进行描述。例如，平台、设备和方法可用于通过识别对象在其中前进的一个或多个发展领域来将对象识别为发展先进。例如，为了识别高级开发的一个或多个领域，平台、设备和方法可以被配置为评估与高级或有天赋的行为相关的对象的一个或多个特征或特性。如所描述的平台、设备和方法还可用于通过评估对象的一种或多种认知功能来将对象识别为一种或多种认知功能的认知下降。

本文描述了用于诊断或评估与对象中的一种或多种行为障碍、发育迟缓或神经损伤相关的行为单元、行为功能和/或高级行为或行为模式的平台、设备和方法。这个过程可以包括评估与一种或多种行为障碍、发育迟缓或神经损伤相关的认知功能、特征或特性。例如，可以基于本文公开的行为单元、高阶行为和/或行为模式来评估人的语音和/或语言能力。

本文描述了用于诊断或评估对象中的一种或多种行为障碍、发育迟缓或神经损伤的风险的平台、设备和方法。该方法可包括提供数据处理模块，该模块可用于构建和管理用于筛选对象的多种发育障碍或病症中的一种或多种的评估程序。评估程序可以通过使用机器学习算法来评估对象的多个特征或特性，其中每个特征可以与对象具有可由该过程筛选的多个障碍中的至少一个的可能性相关。每个特征可以与对象患有两种或更多种相关病症的可能性有关，其中两种或更多种相关病症可以具有一种或多种相关症状。可以通过多种方式评估这些特征。例如，如本文描述的，可以通过对象对问题的回答、对象的观察或与对象的结构化交互的结果来评估特征。

在一些实施方式中，本文公开的系统和设备包括记录设备。在一些实施方式中，使用移动设备进行视频和/或音频记录。在一些实施方式中，移动设备是智能电话、平板计算机、智能手表，或任何具有移动摄像头或记录功能的设备。在一些实施方式中，视频和/或音频记录是用固定的摄像头和/或麦克风拍摄的。例如，个体可能会在临床医生的办公室被问及问题，并使用安装有麦克风的三脚架上的摄像头记录他们的回答。在一些实施方式中，摄像头是高清摄像头。在一些实施方式中，提示个体通过设备界面提供响应，例如，在设备的触摸屏界面内选择或键入答案或对问题或提示的响应。在一些实施方式中，音频本身被记录和分析以衡量行为，例如，确定语音和语言水平。可以评估基于对这些输入(例如，音频、视频、响应等)的分析获得的信息以确定适当的治疗方法。数字治疗可以是交互活动，其中活动在个体参与基于活动的输入分析时动态修改或改变。可以利用各种方式，其中个体不断地参与活动，在活动期间受到监控，并且基于对个体输入或响应的实时分析动态修改或调整活动。作为示例，讲故事活动可以引导个体完成交互故事，该故事可以分解不同的故事情节或不同难度的线索，其中基于对个体的语音和语言水平与可获得的线索的各自困难相关的评估来选择适当的线索。

在一些情况下，设备以～15-20FPS的帧速率运行，这使得面部表情能够在100ms内识别。该设备可以以10FPS至100FPS的帧速率运行。该设备可以以1FPS至10FPS、1FPS至20FPS、1FPS至30FPS、1FPS至40FPS、1FPS至50FPS、1FPS至100FPS、10FPS至15FPS、10FPS至20FPS、10FPS至25FPS、10FPS至30FPS、10FPS至35FPS、10FPS至40FPS、10FPS至45FPS、10FPS至50FPS、10FPS至60FPS、10FPS至80FPS、10FPS至100FPS、15FPS至20FPS、15FPS至25FPS、15FPS至30FPS、15FPS至35FPS、15FPS至40FPS、15FPS至45FPS、15FPS至50FPS、15FPS至60FPS、15FPS至80FPS、15FPS至100FPS、20FPS至25FPS、20FPS至30FPS、20FPS至35FPS、20FPS至40FPS、20FPS至45FPS、20FPS至50FPS、20FPS至60FPS、20FPS至80FPS、20FPS至100FPS、25FPS至30FPS、25FPS至35FPS、25FPS至40FPS、25FPS至45FPS、25FPS至50FPS、25FPS至60FPS、25FPS至80FPS、25FPS至100FPS、30FPS至35FPS、30FPS至40FPS、30FPS至45FPS、30FPS至50FPS、30FPS至60FPS、30FPS至80FPS、30FPS至100FPS、35FPS至40FPS、35FPS至45FPS、35FPS至50FPS、35FPS至60FPS、35FPS至80FPS、35FPS至100FPS、40FPS至45FPS、40FPS至50FPS、40FPS至60FPS、40FPS至80FPS、40FPS至100FPS、45FPS至50FPS、45FPS至60FPS、45FPS至80FPS、45FPS至100FPS、50FPS至60FPS、50FPS至80FPS、50FPS至100FPS、60FPS至80FPS、60FPS至100FPS或80FPS至100FPS的帧速率运行。该设备可以以10FPS、15FPS、20FPS、25FPS、30FPS、35FPS、40FPS、45FPS、50FPS、60FPS、80FPS或100FPS的帧速率运行。该设备可以以至少1FPS、5FPS、10FPS、15FPS、20FPS、25FPS、30FPS、35FPS、40FPS、45FPS、50FPS、60FPS或80FPS的帧速率运行。该设备可以以最高15FPS、20FPS、25FPS、30FPS、35FPS、40FPS、45FPS、50FPS、60FPS、80FPS或100FPS的帧速率运行。

在一些情况下，该设备可以在10ms至200ms内检测面部表情或运动。该设备可以在10ms至20ms、10ms至30ms、10ms至40ms、10ms至50ms、10ms至60ms、10ms至70ms、10ms至80ms、10ms至90ms、10ms至100ms、10ms至150ms、10ms至200ms、20ms至30ms、20ms至40ms、20ms至50ms、20ms至60ms、20ms至70ms、20ms至80ms、20ms至90ms、20ms至100ms、20ms至150ms、20ms至200ms、30ms至40ms、30ms至50ms、30ms至60ms、30ms至70ms、30ms至80ms、30ms至90ms、30ms至100ms、30ms至150ms、30ms至200ms、40ms至50ms、40ms至60ms、40ms至70ms、40ms至80ms、40ms至90ms、40ms至100ms、40ms至150ms、40ms至200ms、50ms至60ms、50ms至70ms、50ms至80ms、50ms至90ms、50ms至100ms、50ms至150ms、50ms至200ms、60ms至70ms、60ms至80ms、60ms至90ms、60ms至100ms、60ms至150ms、60ms至200ms、70ms至80ms、70ms至90ms、70ms至100ms、70ms至150ms、70ms至200ms、80ms至90ms、80ms至100ms、80ms至150ms、80ms至200ms、90ms至100ms、90ms至150ms、90ms至200ms、100ms至150ms、100ms至200ms或150ms至200ms内检测面部表情或运动。该设备可以在10ms、20ms、30ms、40ms、50ms、60ms、70ms、80ms、90ms、100ms、150ms或200ms内检测面部表情或运动。该设备可以在至少10ms、20ms、30ms、40ms、50ms、60ms、70ms、80ms、90ms、100ms或150ms内检测面部表情或运动。该设备可以在最多20ms、30ms、40ms、50ms、60ms、70ms、80ms、90ms、100ms、150ms或200ms内检测面部表情或运动。

在一些实施方式中，本文公开的系统和设备包括用于对用户进行测量的生物传感器。例如，生物传感器可用于测量个体的心跳、血糖水平、呼吸频率或活动水平。在一些实施方式中，生物传感器包括心电图或脑电图传感器、电位计、加速度计或陀螺仪。此类测量可用于评估或增强对个体反应或与数字诊断和/或治疗活动交互的评估，例如，交互讲故事活动，在此期间个体被引导通过引发口头、视频和/或用于动态修改活动的数字响应的故事。

在一些实施方式中，本文描述的平台、系统、介质和方法包括数字处理设备或其使用。在进一步的实施方式中，数字处理设备包括执行设备功能的一个或多个硬件中央处理单元(hardware central processing units，CPU)或通用图形处理单元(general purposegraphics processing units，GPGPU)。在更进一步的实施方式中，数字处理设备还包括被配置为执行可执行指令的操作系统。在一些实施方式中，数字处理设备可选地连接到计算机网络。在进一步的实施方式中，数字处理设备可选地连接到互联网，以便它访问万维网。在更进一步的实施方式中，数字处理设备可选地连接到云计算基础设施。在其他实施方式中，数字处理设备可选地连接到内联网。在其他实施方式中，数字处理设备可选地连接到数据存储设备。

根据本文的描述，作为非限制性示例，合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、网垫计算机、机顶盒计算机、流介质设备、掌上计算机、互联网设备、移动智能电话、平板计算机、个体数字助理、视频游戏机和车辆。本领域技术人员将会认识到许多智能电话适用于在此描述的系统中。本领域技术人员还将会认识到具有可选计算机网络连接性的选定电视、视频播放器和数字音乐播放器适用于在此描述的系统中。合适的平板计算机包括本领域技术人员已知的具有小册子、平板和可转换配置的那些。

在一些实施方式中，数字处理设备包括被配置为执行可执行指令的操作系统。例如，操作系统是软件，包括程序和数据，它管理设备的硬件并为应用的执行提供服务。作为非限制性示例，本领域技术人员将会认识到，合适的服务器操作系统包括FreeBSD、OpenBSD、

在一些实施方式中，该设备包括存储和/或存储设备。存储和/或存储设备是一个或多个用于临时或永久存储数据或程序的物理设备。在一些实施方式中，该设备是易失性存储器并且需要电力来维持存储的信息。在一些实施方式中，该设备是非易失性存储器并且当数字处理设备未通电时保留存储的信息。在进一步的实施方式中，非易失性存储器包括闪存。在一些实施方式中，非易失性存储器包括动态随机存取存储器(dynamic random-access memory，DRAM)。在一些实施方式中，非易失性存储器包括铁电随机存取存储器(ferroelectric random access memory，FRAM)。在一些实施方式中，非易失性存储器包括相变随机存取存储器(phase-change random access memory，PRAM)。在其他实施方式中，作为非限制性示例，该设备是存储设备，包括CD-ROM、DVD、闪存设备、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储设备。在进一步的实施方式中，存储和/或存储设备是诸如本文公开的那些设备的组合。

在一些实施方式中，数字处理设备包括向用户发送视觉信息的显示器。在一些实施方式中，显示器是液晶显示器(liquid crystal display，LCD)。在进一步的实施方式中，显示器是薄膜晶体管液晶显示器(thin film transistor liquid crystal display，TFT-LCD)。在一些实施方式中，显示器是有机发光二极管(organic light emitting diode，OLED)显示器。在各种进一步的实施方式中，OLED显示器上是无源矩阵OLED(passive-matrix OLED，PMOLED)或有源矩阵OLED(active-matrix OLED，AMOLED)显示器。在一些实施方式中，显示器是等离子显示器。在其他实施方式中，显示器是视频投影仪。在又一些实施方式中，显示器是与数字处理设备通信的头戴式显示器，诸如VR头戴式耳机。在进一步的实施方式中，作为非限制性示例，合适的VR头戴式耳机包括HTC Vive、Oculus Rift、SamsungGear VR、Microsoft HoloLens、Razer OSVR、FOVE VR、Zeiss VR One、Avegant Glyph、Freefly VR头戴式耳机等。在更进一步的实施方式中，显示器是诸如本文所公开的那些设备的组合。

在一些实施方式中，数字处理设备包括用于从用户接收信息的输入设备。在一些实施方式中，输入设备是键盘。在一些实施方式中，作为非限制性示例，输入设备是定点设备，包括鼠标、轨迹球、轨迹板、操纵杆、游戏控制器或触控笔。在一些实施方式中，输入设备是触摸屏或多点触摸屏。在其他实施方式中，输入设备是用于捕捉声音或其他声音输入的麦克风。在其他实施方式中，输入设备是摄像机或其他传感器以捕捉运动或视觉输入。在进一步的实施方式中，输入设备是Kinect、Leap Motion等。在更进一步的实施方式中，输入设备是诸如本文所公开的设备的组合。

在一些实施方式中，本文公开的平台、系统、介质和方法包括一个或多个非暂时性计算机可读存储介质，该存储介质编码有程序，该程序包括可由可选联网的数字处理设备的操作系统执行的指令。在进一步的实施方式中，计算机可读存储介质是数字处理设备的有形组件。在更进一步的实施方式中，计算机可读存储介质可选地可从数字处理设备中移除。在一些实施方式中，作为非限制性示例，计算机可读存储介质包括CD-ROM、DVD、闪存设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令被永久地、基本上永久地、半永久地或非暂时地编码在介质上。

在一些实施方式中，本文公开的平台、系统、介质和方法包括至少一种计算机程序或其使用。计算机程序包括一系列指令，可在数字处理设备的CPU中执行，用于执行指定任务。计算机可读指令可以实现为程序模块，诸如执行特定任务或实现特定抽象数据类型的函数、物体、应用编程接口(Application Programming Interfaces，API)、数据结构等。根据本文提供的公开内容，本领域技术人员将会认识到计算机程序可以用各种语言的各种版本编写。

计算机可读指令的功能可以如在各种环境中需要的组合或分布。在一些实施方式中，计算机程序包括一个指令序列。在一些实施方式中，计算机程序包括多个指令序列。在一些实施方式中，从一个位置提供计算机程序。在其他实施方式中，从多个位置提供计算机程序。在各种实施方式中，计算机程序包括一个或多个软件模块。在各种实施方式中，计算机程序部分或全部包括一个或多个web应用、一个或多个移动应用、一个或多个独立应用、一个或多个web浏览器插件、扩展、加载项或附加组件，或其组合。

在一些实施方式中，计算机程序包括web应用。根据本文提供的公开内容，本领域技术人员将会认识到，在各种实施方式中，web应用利用一个或多个软件框架和一个或多个数据库系统。在一些实施方式中，web应用是在诸如

在一些实施方式中，计算机程序包括提供给移动数字处理设备的移动应用。在一些实施方式中，移动应用在制造时被提供给移动数字处理设备。在其他实施方式中，移动应用通过本文描述的计算机网络提供给移动数字处理设备。

鉴于本文提供的公开内容，移动应用是通过本领域技术人员已知的技术使用本领域已知的硬件、语言和开发环境来创建的。本领域技术人员将会认识到移动应用是用多种语言编写的。作为非限制性示例，合适的编程语言包括C、C++、C#、Objective-C、Java

合适的移动应用开发环境可从多个来源获得。作为非限制性示例，市售开发环境包括AirplaySDK、alcheMo、

本领域技术人员将会认识到，作为非限制性示例，若干商业论坛可用于分发移动应用，包括

在一些实施方式中，计算机程序包括独立应用，其是作为独立计算机进程运行的程序，而不是现有进程的附加组件，例如，不是插件。本领域技术人员将会认识到独立应用经常被编译。编译器是一种计算机程序，它将以编程语言编写的源代码转换为诸如汇编语言或机器代码的二进制目标代码。作为非限制性示例，合适的编译编程语言包括C、C++、Objective-C、COBOL、Delphi、Eiffel、Java

在一些实施方式中，计算机程序包括web浏览器插件(例如，扩展等)。在计算中，插件是一个或多个软件组件，可将特定功能添加到更大的软件应用中。软件应用的制造商支持插件以使第三方开发人员能够创建扩展应用的能力，支持轻松添加新功能并减小应用的大小。如果支持，插件可以自定义软件应用的功能。例如，插件通常在web浏览器中用于播放视频、生成交互性、扫描病毒和显示特定文件类型。本领域技术人员将会熟悉几种web浏览器插件，包括

鉴于本文提供的公开内容，本领域技术人员将会认识到若干插件框架是可用的，其使得能够以各种编程语言开发插件，作为非限制性示例，包括C++、Delphi、Java

Web浏览器(也称为互联网浏览器)是软件应用，设计用于与网络连接的数字处理设备一起使用，用于检索、呈现和遍历万维网上的信息资源。作为非限制性示例，合适的web浏览器包括

在一些实施方式中，本文公开的平台、系统、介质和方法包括软件、服务器和/或数据库模块或其使用。鉴于本文提供的公开内容，软件模块是通过本领域技术人员已知的技术使用本领域已知的机器、软件和语言来创建的。本文公开的软件模块以多种方式实现。在各种实施方式中，软件模块包括文件、代码段、编程物体、编程结构或其组合。在进一步的各种实施方式中，软件模块包括多个文件、多个代码段、多个编程物体、多个编程结构或其组合。在各种实施方式中，作为非限制性示例，一个或多个软件模块包括web应用、移动应用和独立应用。在一些实施方式中，软件模块在一个计算机程序或应用中。在其他实施方式中，软件模块在一个以上的计算机程序或应用中。在一些实施方式中，软件模块托管在一台机器上。在其他实施方式中，软件模块托管在一台以上的机器上。在进一步的实施方式中，软件模块托管在云计算平台上。在一些实施方式中，软件模块托管在一个位置中的一台或多台机器上。在其他实施方式中，软件模块托管在一个以上的位置中的一台或多台机器上。

在一些实施方式中，本文公开的平台、系统、介质和方法包括一个或多个数据库或其使用。在各种实施方式中，作为非限制性示例，合适的数据库包括关系数据库、非关系数据库、面向物体的数据库、物体数据库、实体关系模型数据库、关联数据库和XML数据库。其他非限制性示例包括SQL、PostgreSQL、MySQL、Oracle、DB2和Sybase。在一些实施方式中，数据库是基于web的。在进一步的实施方式中，数据库是基于网络的。在更进一步的实施方式中，数据库是基于云计算的。在其他实施方式中，数据库基于一个或多个本地计算机存储设备。

在一些实施方式中，本文公开了用于评估行为障碍、发育迟缓和神经损伤的平台，其包括一个或多个计算设备，每个计算设备具有允许在一个或多个计算设备之间通信和/或共享数据的应用。在一些实施方式中，应用向用户提供专门的门户，诸如，例如医疗保健提供者门户和患者门户。本文描述的平台上的应用提供的特征包括使用本文描述的技术记录个体和评估个体。

在一些实施方式中，用户通过使用第一计算设备上的第一用户应用上的记录应用来记录要被评估的个体的视频。在一些实施方式中，用户应用向用户提供关于记录类型和长度的指导。在一些实施方式中，记录是关于个体移动、响应问题或请求、进食、情绪化、睡觉、玩耍、交谈、观看(例如，电视)、响应或处理他们的事务。

在一些实施方式中，记录由机器学习软件模块分析，该模块通过使用临床医生应用向临床医生提供每个可能诊断的概率分数。在一些实施方式中，概率分数必须高于数值阈值才能显示在临床医生应用中。在一些实施方式中，低于指定阈值的概率分数显示在临床医生应用的单独选项卡或屏幕中。在一些实施方式中，临床医生审查分析结果并通过临床医生的应用请求附加数据。例如，临床医生可能会收到以下结果：儿童患有自闭症的概率分数为35％、智力迟钝的概率分数为48％和言语障碍的概率分数为10％。概率分数阈值设置为25％，并且临床医生会审查自闭症和智力低下的分数。临床医生通过应用订购行为测试，并要求儿童执行一项或两项指示任务的附加视频。在一些实施方式中，临床医生借助机器学习算法提供的结果对个体进行诊断。在一些实施方式中，临床医生将诊断输入到应用中，并且数据和诊断可用于医疗保健提供者。

在一些实施方式中，医疗保健提供者能够协调个体的治疗并向用户和个体提供治疗建议。在一些实施方式中，医疗保健提供者的网络中的个体治疗临床医生能够访问记录和诊断测试。

示例

家长担心他们2岁的孩子错过了几个发育里程碑，并联系临床医生以评估孩子的发育迟缓。临床医生要求家长在家长的智能电话上下载应用，并拍摄孩子回答问题、与成人玩耍和独自玩耍的视频。该应用在拍摄角度、拍摄距离和照明考虑方面提供有关儿童拍摄的指导。家长通过应用拍摄视频，并输入有关孩子的个人信息，诸如性别、出生日期和正在拍摄的活动类型。视频被发送给临床医生，并由一种或多种机器学习算法自动分析。临床医生被给予用于诊断发育迟缓的概率分数。临床医生审查一种或多种机器学习算法检测到的高阶行为和行为模式，并确认用于诊断的数据与临床相关。临床医生可能会要求进行额外的测试以确认建议的诊断。医生和家长会面讨论诊断和治疗。临床医生能够指出视频中的特定行为并向家长展示观察到的行为。临床医生提供治疗建议并要求以指定的时间间隔拍摄视频，以监测儿童的进展和建议治疗的有效性。如果没有看到进展，临床医生可能会改变治疗。在分析后续视频后，临床医生可能会收到替代建议的诊断，并规定额外的测试或治疗。

儿童表现出许多行为，这些行为都是自闭症和ADHD的症状。本文描述的一种或多种机器学习算法分析儿童的视频记录。机器学习算法能够识别行为单元、高阶行为和行为模式，这些行为对两种诊断中的每一种都是独特的，但人眼很难识别。一种或多种机器学习算法为两种诊断中的每一种提供概率分数，发现孩子很可能患有ADHD，并不太可能患有自闭症。

家长担心他们2岁的孩子错过了几个发育里程碑，并联系临床医生以评估孩子的任何发育迟缓。临床医生要求家长在家长的智能电话上下载应用，并帮助孩子参与应用中提供的交互活动。交互活动以促进和改善孩子言语和语言发展的形式提供数字治疗，同时还根据从孩子参与活动中收集的输入数据不断评估孩子。该应用提供了一个虚拟角色，该角色提供有关活动的指导，并通过提出问题或提供提示从孩子那里获得反馈或回应来吸引孩子。

该应用通过为儿童参与的各种交互数字活动提供交互模块，对幼儿的言语和语言发展执行家庭自动评估。家长打开平板计算机上的软件应用并选择孩子的故事书阅读活动。故事书阅读活动提供了提供指导的数字角色(见图5A)。向孩子呈现故事序列和伴随故事序列的相应文本(见图5A)。在故事序列完成后，数字角色可以询问孩子关于故事序列的问题以评估孩子的故事理解力(图5C)。

接下来，数字角色要求孩子向他们的父母讲故事，从而测试孩子复述故事的能力(见图6A)。来自故事的视觉序列显示在图6B中，并分析孩子对故事的复述以确定他复述序列的熟练程度。数字角色还可以要求孩子根据图片提示想出一个故事，并评估孩子的反应以确定提供图片引发的叙述的熟练程度(见图7A和图7B)。

交互模块提供的附加活动可以包括在未着色的图片或图像中着色、操纵故事序列(例如，将序列置于正确的编号顺序或备选地提出新的序列顺序；见图8)，以及/或者通过允许孩子通过操纵和/或安排故事序列、人物、物体、颜色或其他视觉元素以创建他们自己的故事来个性化讲故事(见图9)。个性化讲故事还可以包括音频序列的操纵和排列，例如，将音频序列或剪辑与视觉故事序列匹配。作为示例，通过应用向孩子展示图形用户界面，该应用具有用于添加、删除、放大/缩小、移动、着色或编辑各种虚拟物体(例如，角色、动物、工具、服装、车辆、建筑和其他物体)的交互式可选按钮。文本或对话也可以与相应的音频剪辑一起插入。

交互模块提供的附加活动可以包括通过社交故事(见图10)或基于游戏的生活技能训练(见图11)嵌入干预。

虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员而言将会显而易见的是，这样的实施方式只是通过示例的方式提供的。在不偏离本发明的情况下，本领域技术人员将会想到众多变化、改变和替代。应理解，在实践本发明的过程中可以采用本文所述的本发明实施方式的各种替代方案。本文旨在下列权利要求限定了本发明的范围并且从而覆盖这些权利要求的范围内的方法和结构及其等同项。