首页> 中国专利> 来自运动表现的图像数据的反馈信号

来自运动表现的图像数据的反馈信号

摘要

本发明的各方面涉及改善运动员的能力来及时同步它们的身体的动作。特定实施方式提供了反馈系统,该反馈系统运行运动员(或另一个人,如训练员)理解和优化运动动作的一个或多个分量或特征的定时。执行身体活动的运动员的图像数据(如视频)可以被利用(单独地或与非图像数据相组合),以产生和发出实时反馈信号,向运动员提供节奏的指示。仍进一步方面涉及使用图像和/或其他传感器数据来检测运动员的不正确的定时和/或动作,并作为响应,产生实时反馈信号。

著录项

  • 公开/公告号CN105210084A

    专利类型发明专利

  • 公开/公告日2015-12-30

    原文格式PDF

  • 申请/专利权人 耐克创新有限合伙公司;

    申请/专利号CN201480025605.4

  • 发明设计人 V.马尔霍特拉;

    申请日2014-03-11

  • 分类号G06K9/00(20060101);A61B5/00(20060101);A63B22/00(20060101);

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人王小京

  • 地址 美国俄勒冈州

  • 入库时间 2023-12-18 13:23:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-03-12

    授权

    授权

  • 2016-01-27

    实质审查的生效 IPC(主分类):G06K9/00 申请日:20140311

    实质审查的生效

  • 2015-12-30

    公开

    公开

说明书

与相关申请的交叉参考

这个申请要求2013年3月15日提交的名称为“FeedbackSignalsfrom ImageDataofAthleticPerformance(来自运动表现的图像数据的反馈信 号)”的美国临时申请序列号61/793,472的权益,该申请通过引用结合于 此。

背景技术

运动员,业余的和职业的都经常期望提高对特定运动或体育活动的表 现。除了提高体力,运动员可以利用旨在视力、反应时间或其他能力的锻 炼来看到较大的特定项目的提高。不适当地使用设备或装置实际上会降低 运动表现。类似地,不正确地管理锻炼或安排也可以阻止运动员正确训练 且/或导致运动员不能进行到阈值水平的错误结论。

因此,很多运动员和教练员经常不能准确确定运动员的运动属性和表 现水平。这在训练运动员以及将运动员的表现与他人比较时带来困难。现 存的选项包括要求运动员旅行到特定位置(通常几百英里之外)在特定日 期到达特定设施,以进行一系列锻炼,这一系列锻炼将允许更精确地确定 他们的能力和表现水平。不幸的是,运动员可能不能够负担路费且/或在该 特定日期不方便。另外,运动员在一天可能具有低潮(sub-par)表现并由此被 认为低于他们的实际表现水平。这通常导致运动员不参加这些事项,且如 此持续误判特定活动和锻炼的表现。因此,尽管大运动量训练,运动员可 能不能以有效方式在正确区域得到提高。

因此,鉴于上述内容,改善的系统和方法是期望的。本发明的各方面 旨在解决一个或多个这些缺陷的一种新颖的系统和方法。进一步的方面涉 及使得现有技术中的其他缺点最小化。

发明内容

下面提供了简化的概括,以便提供本发明的一些方面的基本理解。该 概括表示本发明的广泛总结。它既不意在识别本发明的关键或重要元素, 也不给本发明的范围划界。下面的概括仅仅以简化形式提供本发明的一些 概念,作为下面的描述的前序。

本发明的各方面涉及被构造成提高运动员的能力以及时同步他们身体 的动作的系统和方法。某些实施方式提供了反馈系统,该反馈系统允许运 动员(或其他个人,如教练员)理解和优化运动动作的一个或多个分量或 特征的定时。某些方面涉及在身体活动的运动员表现方面给运动员提供反 馈。该反馈可以实时地提供使得运动员可以在运动活动的执行期间获得反 馈。根据一个实施方式,执行运动活动的运动员的图像数据或其至少一部 分可以被获得。在一个实施方式中,可以获得在身体活动的运动员表现期 间多个连续图像。图像数据可以被实时处理,以识别执行第一运动动作的 第一特征的运动员。例如,摆动高尔夫球棒的身体活动可以具有若干动 作,如后摆动作和向前摆动动作。在每个动作内,可以识别若干特征。

动作的一个或多个特征可以从运动参数中检测。例如,如果运动动作 是高尔夫球摆动的后摆,则该后摆的特征可以基于图像数据中的速度值、 加速度值、运动员的身体部分的位置或者运动装置的位置中的至少一个。 在某些实施方式中,运动参数的确定可以至少部分基于速度值或加速度值 达到第一阈值来确定。在某些实施方式中,运动参数可以用于产生或改变 所产生的反馈信号。例如,可听见的反馈信号可以基于棒球棒运动的速度 或加速度来调制。

确定特征是否已经出现可以包括确定图像数据所表示的目标的一个或 多个动作是否达到阈值标准。示例性标准可以包括动作标准和动作质量标 准。在一个实施方式中,第一标准可以用作识别被关注的某些图像的第一 过滤器,而第二标准可以进一步识别在这个组中哪个数据符合更严格的标 准。在仍另一个实施方式中,第一和第二标准可以是独立的。第一阈值可 以检测第一身体部分是否移动。在图像数据中表示的运动员的身体的一个 或多个部分的选择和/或利用可以尤其基于预定的身体动作、用户输入、历 史数据及其组合。

一个或多个图像捕捉装置可以按照不同或可变的帧率来捕捉图像。例 如,图像捕捉装置可以在50至100帧每秒(fps)的可变速率下捕捉图 像。因此,动作(和/或动作质量)的确定可以利用捕捉信息的速率,以精 确确定数据帧之间的时间间隔,该数据帧被不均匀的时间段分隔。

在特定实现方式中,可以从时间戳图像数据中利用地标/距离标定,以 允许表现的精确测量。例如,图像数据表示的目标可以被用于确定动作阈 值是否被达到。例如,场地上的标记(如,码线)可以被用于标定距离测 量。在某些实施方式中,目标可以被识别,并且在识别时,可以被用在标 定过程中。这种标定技术不限于静止目标。在某些实施方式中,预定的身 体动作可以被使用(全部或部分),以选择哪个身体部分被利用和/或(如 在被捕捉的图像数据中所表示的)该部分的动作是否达到阈值。在某些实 施方式中,系统和方法可以被实现,该系统和方法基于图像数据的特性利 用不同的身体部分。

进一步的方面涉及在响应于识别特征的执行而产生并传输反馈信号。 该传输可以是实时的。在某些实施方式中,图像数据可以表示运动员正在 执行第一运动动作的第二或另外特征。可以传输另外的反馈信号,如可听 见的信号,该另外的反馈信号可以是基于第二特征的动作特性。在一个实 现方式中,运动员在运动动作的表现期间接收音频反馈,该音频反馈被构 造成在运动活动的第一和第二特征的运动员的表现方面提供可听到的节奏 反馈。音频反馈信号可以包括第一频率处的第一可听见音调,且第二音频 反馈信号可以通过将该可听见音调调制到第二频率来产生。在仍另一实施 方式中,可以利用视觉和/或触觉反馈信号。

特征的识别可以包括识别初始图像,该识别初始图像包括:识别对应 于至少一个特定第一身体部分或运动目标的像素,其中,第一身体部分或 运动目标基于运动员要执行的预定身体活动来选择;以及,基于所识别的 像素,确定像素数据在连续图像内的多个图像之间是否变化,使得该变化 满足第一阈值。处理图像数据可以包括利用光流过程。光流过程可以作为 输入提供给运动熵确定过程,该运动熵确定过程包括提供流场数据,该流 场数据包括从第一图像到第二图像被识别目标的像素距离变化;以及在身 体活动的表现期间,利用流场数据识别图像数据中表示的运动员的运动的 特定类型。

作为另一实施方式的一个示例,一个身体活动可以是高尔夫球摆动, 该高尔夫球摆动具有上摆运动动作和随后的下摆运动动作。检测运动员正 执行第一特征的图像数据可以包括检测表示高尔夫球杆在距地面的第一距 离之内的像素数据,并且确定第二运动员正执行上摆运动动作的第二特征 是从表示高尔夫球杆在距地面的第二距离之内的像素数据中检测。

进一步方面涉及基于检测到运动动作的第一和第二特征将正确定时发 送给运动员。例如,基于第一和第二特征中至少一个的检测,反馈信号可 以在预定时间传输。它可以基于第一或第二特征的发生且可被构造成表示 运动员在正确的定时来执行运动表现的另外的特征。

运动员的表现属性可以从阈值信息以及其他从图像派生的数据来确 定。作为一个示例,初始图像(单独或与其他图像结合)可以用于确定运 动员的至少一个表现属性。示例性的数据可以包括但不限于速度、反应、 耐力及它们的组合。

进一步的方面可以被用于计算用户的运动等级。在某些实施方式中, 等级可以是运动项目特定的运动等级。例如,单个运动员对于足球和跑步 等级分而言具有不同等级。

各实施方式的这些和其他方面通过包括附图在内的本公开内容更加详 细地讨论。

附图说明

本发明借助于示例说明且不局限于附图中,附图中,相同的附图标记 表示类似的元件,图中:

图1示出根据示例性实施方式的系统的示例,该系统可以被构造成提 供个人锻炼和/或从用户的身体运动中获得数据;

图2示出作为图1的系统的一部分或者与图1的系统连通的示例性计 算机装置;

图3示出根据示例性实施方式的由用户穿戴的示例性传感器组件;

图4示出根据示例性实施方式的由用户穿戴的另一示例性传感器组 件;

图5示出用于传感器输入的示例性位置,其可以包括位于用户的衣服 上/内的身体传感器且/或基于用户的两个移动身体部位之间的关系的识别;

图6是根据一个示例性实施方式的示例性方法的流程图,该方法可以 被用于从图像数据中确定运动属性;

图7是示出根据一个实施方式利用触发事件的示例性实现方式的流程 图;

图8是示出根据一个实施方式的传输和产生反馈信号的示例性实现方 式的流程图;

图9A和9B示出包括示例性测试元素的示例活动空间;以及

图10是根据某些实施方式的示例性方法的流程图,该方法可以被实现 以利用图像数据产生运动竞赛等级。

具体实施方式

本发明的各方面涉及从图像数据确定运动员的运动属性。一个或多个 确定可以根据不同图像(或帧)之间的图像数据的变动,如表示目标或目 标的各部分的像素中的变动。图像数据可以被用于确定特定阈值是否被满 足。各种阈值水平可以被应用于图像数据中表示的一个或多个目标。在特 定实现方式中,身体活动的运动员表现,如例如冲刺或敏捷性锻炼,或者 场地测试的套系(batteryoffieldbasedtest),可以根据图像数据被分析。在 特定实现方式中,可以从时间戳图像数据中利用地标/距离标定,以允许对 表现进行精确测量(包括但不限于:冲刺或敏捷性时间、垂直跳的飞行时 间、投掷的距离)。从图像数据检索或派生的数据可以在评分和/或评级运 动员中使用。这种数据可以用于给运动员或其他个人,如教练或训练员提 供训练建议或方法。

在各种实施方式的以下描述中,对附图做出参照,该附图形成该描述 的一部分,并且其中借助于图示示出了本发明可以实践的各种实施方式。 要理解的是在不背离本发明的范围和精髓的前提下可以利用其他实施方式 且可以做出结构和功能修改。此外,本发明的标定不应被认为本发明的限 制方面。获得本发明的益处的本领域技术人员将理解到示例性实施方式不 局限于示例性的标题。

本发明的各方面涉及到获得、存储和/或处理与运动员的身体动作相关 的运动数据。运动数据可以主动或被动感测并/或存储在一个或多个非瞬态 存储介质中。再另一方面涉及利用运动数据产生输出,如例如,计算的运 动属性、反馈信号,以提供指导和/或其他信息。这些和其他方面将在个人 训练系统的如下的说明性示例的背景下讨论。

I.示例性个人训练系统

A.说明性计算装置

本发明的各方面涉及可以跨多个网络使用的系统和方法。在这个方 面,某些实施方式可以被构造成采用动态网络环境。进一步的实施方式可 以在不同离散网络环境下操作。图1示出了根据示例性实施方式的个人训 练系统100的示例。示例性系统100可以包括一个或多个互连网络,如说 明性的身体区域网络(BAN)102、局域网络(LAN)104和广域网络 (WAN)106。如1所示(并如在本公开内容中一直描述的),一个或多个 网络(例如,BAN102、LAN104和/或WAN106)可以重叠或以其他方式 彼此包容。本领域技术人员将理解到说明性网络102-106是逻辑网络,它 们可以各自包括一个或多个不同的通信协议和/或网络架构,并仍可以构造 成具有通向彼此或其他网络的网关。例如,BAN102、LAN104和/或WAN 106中的每一个可以可操作地连接到相同的物理网络架构,如蜂窝网络架 构108和/或WAN架构110。例如,可以被认为是BAN102和LAN104二 者的部件的便携电子装置112可以包括网络适配器或网络接口卡(NIC), 该网络适配器或网络几口卡被构造成根据一个或多个通信协议,如传输控 制协议(TCP)、互联网协议(IP)和用户数据报协议(UDP)通过一个或 多个架构108和/或110将数据和控制信号翻译成网络消息以及从网络消息 翻译数据和控制信号。这些协议在本领域中是公知的,并由此在此不在详 细描述。

网络架构108和110可以单独或相组合地包括任意类型或拓扑结构的 一个或多个信息分布网络,如例如电缆、光纤、微型、电话、蜂窝、无线 等,并如此,可以各种各样地构造,如具有一个或多个有线或无线通信通 道(包括但不限于近场通信(NFC)和/或ANT技术)。 从而,在图1的网络中的任何装置(如便携电子装置112或在此描述的任 何其他装置)可以被认为针对一个或多个不同逻辑网络102-106是包容性 的。在考虑上述内容的前提下,将描述说明性BAN和LAN(它们可以耦 接到WAN106)的示例性部件。

1.示例性局域网络

LAN104可以包括一个或多个电子装置,如例如计算机装置114。计 算机装置114或系统100的任何其他的部件可以包括移动终端,如电话、 音乐播放器、平板电脑、上网本或任何便携装置。在其他实施方式中,计 算机装置114可以包括媒体播放器或记录器、桌面计算机、服务器、游戏 主机,如例如XBOX,PlayStation和/或Wii 游戏主机。本领域技术人员将理解到这些仅仅是出于描述目的的示例性装 置,并且本发明并不局限于任何主机或计算装置。

本领域技术人员将理解到计算机装置114的设计和结构可以根据若干 因素,如它的期望目的而加以变化。计算机装置114的一个示例性实现方 式在图2中提供,图2示出了计算装置200的方块图。本领域技术人员将 理解到图2的公开内容可以应用到在公开的任何装置上。装置200可以包 括一个或多个处理器,如处理器202-1和202-2(通常,在此称为处理器 202或处理器202)。处理器202可以通过互连网络或总线204彼此通信或 者与其他部件通信。处理器202可以包括一个或多个处理核芯,如核芯 206-1和206-2(在此称为核芯206或更通常称为核芯206),该核芯可以在 单个集成电路(IC)芯片上实现。

核芯206可以包括共享的高速缓冲存储器208和/或单独的高速缓冲存 储器(例如,分别为高速缓冲存储器210-1和210-2)。一个或多个高速缓 冲存储器208/210可以本地高速缓存在系统存储器(如存储器212)中存储 的数据,用于由处理器202的部件更快地访问。存储器212可以通过芯片 组216与处理器202通信。高速缓冲存储器208在某些实施方式中可以是 系统存储器212的一部分。存储器212可以包括但不限于随机存取存取器 (RAM)、只读存储器(ROM),并包括一个或多个固态存储器、光或此存 储器和/或能够被用于存储电子信息的任何其他介质。再另一个实施方式可 以省略系统存储器212。

系统200可以包括一个或多个I/O装置(例如,I/O装置214-1到214- 3,每个总地称为I/O装置214)。来自一个或多个I/O装置214的I/O数据 可以存储在一个或多个高速缓冲存储器208、210和/或系统存储器212 中。每个I/O装置214可以利用任何物理或无线通信协议永久地或临时地 构造成与系统100的部件通信。

返回到图1,四个示例性I/O装置(示为元件116-122)被示为与计算 机装置114通信。本领域技术人员将理解到一个或多个装置116-122可以 是独立装置或者可以与计算机装置114之外的其他装置相关联。例如,一 个或多个I/O装置可以与BAN102和/或WAN106的部件相关联或相互作 用。I/O装置116-122可以包括但不限于运动数据获取单元,如例如传感 器。一个或多个I/O装置可以被构造成感测、检测和/或测量来自用户,如 用户124的运动参数。示例尤其包括但不限于加速度计、陀螺仪、位置确 定装置(例如,GPS)、光(包括不可见光)传感器、温度传感器(包括周 围温度和/或体温)、睡眠模式传感器、心率监视仪、图像捕捉传感器、湿 度传感器、力传感器、罗盘、角速度传感器和/或它们的组合。

在进一步实施方式中,I/O装置116-122可以用于提供输出(例如,可 听见的、视觉的或触觉线索)和/或接收输入,如来自运动员124的用户输 入。用于这些说明性I/O装置的示例在下面提供,但是,本领域技术人员 将理解到这种讨论仅仅是本发明范围之内的很多选项中的一些的描述。此 外,对任何数据获取单元、I/O装置或传感器的引用要被解释为公开了可以 具有在此公开的或本领域已知的一个或多个I/O装置、数据获取单元和/或 传感器(单独地或相组合地)。

来自一个或多个装置(跨一个或多个网络)的信息可以使用各种不同 参数(或以各种不同参数的形式利用),度量上的或生理上的特性包括但不 限于:运动参数,如速度、加速度、距离、采取的步骤、方向、特定身体 部分或目标对其他的相对动作、或其他运动参数,该其他运动参数可以被 表示为角速度、直线速率或其组合,生理上的参数,如热量、心率、汗检 测、努力、耗氧量、氧动力学、以及落入一个或多个范畴内的其他度量, 如压力、冲击力、关于运动员的信息,如高度、重量、年纪、人口统计信 息和其组合。

系统100可以被构造成发送和/或接收在系统100内收集的或者以其他 方式提供给系统100的运动数据,包括参数、度量或生理学特性。作为一 个示例,WAN106可以包括服务器111。服务器111可以具有图2的系统 200的一个或多个部件。在一个实施方式中,服务器111包括至少一个处理 器和存储器,如处理器206和存储器212。服务器111可以被构造成在非瞬 态计算机可读介质上存储计算机可执行指令。指令可以包括运动数据,如 在系统100内收集的原始数据或处理过的数据。系统100可以被构造成将 数据,如能量支出点发送到社交网络网站或主机这样的地点。服务器111 可以被利用以允许一个或多个用户访问且/或比较运动数据。如此,服务器 111可以被构造成基于运动数据或其他信息传输和/或接收通知。

返回到LAN104,计算机装置114被示为与显示装置116、图像捕捉 装置118、传感器120和锻炼装置122操作性连通,它们将在下面参照示例 性实施方式依次讨论。在一个实施方式中,显示装置116可以将音频-视频 提示提供给运动员124以执行特定运动动作。音频-视频提示可以响应于在 计算机装置114或任何其他装置(包括BAN102和/或WAN的装置)上执 行的计算机可执行指令提供。显示装置116可以是触摸屏装置或以其他方 式构造成接收用户输入。

在一个实施方式中,数据可以从图像捕捉装置118和/或其他传感器 (如传感器120)获得,所述图像捕捉装置118和/或其他传感器可以单独 地或与其他装置相组合用于检测(和/或测量)运动参数或存储的信息。图 像捕捉装置118和/或传感器120可以包括收发器装置。在一个实施方式 中,传感器128可以包括红外(IR)、电磁(EM)或声学收发器。例如, 图像捕捉装置118和/或传感器120可以将波形传输到环境中,包括朝向运 动员124的方向,并接收“反射”或以其他方式检测这些释放的波形的变 型。本领域技术人员将轻易理解到对应于大量不同数据谱的信号可以根据 各种实施方式被使用。在这个方面,装置118和/或120可以检测从外部源 (例如,非系统100)传输的波形。例如,装置118和/或120可以检测从 用户124和/或周围环境传输的热量。从而,图像捕捉装置126和/或传感器 128可以包括一个或多个热成像装置。在一个实施方式中,图像捕捉装置 126和/或传感器128可以包括被构造成执行距离现象学(range phenomenology)的IR装置。

在一个实施方式中,锻炼装置122可以是可构造成允许或促进运动员 124执行身体动作的任何装置,如例如跑步机、踏步机等。不要求该装置 是静止的。在这个方面,无线技术允许便携装置被利用,由此,根据某些 实施方式,自行车或其他移动锻炼装置可以被利用。本领域技术人员将理 解到设备122可以是用于接收电子装置的接口或者包括这样的接口,该电 子装置包含从计算机装置114远程执行的运动数据。例如,用户可以使用 运动装置(如下面相对于BAN102所描述的)并且在返回到家或者设备 122的位置时,将运动数据下载到元件122或系统100的任何其他装置。 在此公开的任何I/O装置可以被构造成接收活动数据。

2.身体区域网络

BAN102可以包括两个或多个装置,所述两个或多个装置被构造成接 收、传输或以其他方式促进运动数据的收集(包括无源装置)。示例性装置 可以包括一个或多个数据获取单元、传感器或者本领域已知的或在此公开 的装置,包括但不限于I/O装置116-122。BAN102的两个或多个部件可以 直接通信,而在其他实施方式中,通信可以经过第三装置进行,该第三装 置可以是BAN102、LAN104和/或WAN106的一部分。LAN104或WAN 106的一个或多个部件可以形成BAN102的一部分。在特定实现方式中, 诸如便携装置112的装置是否是BAN102、LAN104和/或WAN106的一 部分可以取决于运动员对访问点的接近,以允许与移动蜂窝网络架构108 和/或WAN架构110通信。用户活动和/或喜好也可以影响一个或多个部件 是被被用作BAN102的一部分。示例性的实施方式在下面提供。

用户124可以与任何数量的装置,如便携装置112、鞋安装的装置 126、腕佩戴的装置128和/或可以包括物理装置或用于收集信息的位置的 感测位置,如感测位置130相关联(例如,具有、携带、穿戴和/或相互作 用)。一个或多个装置112、126、128和/或130可以不特别为健身或运动 目的而设计。实际上本发明的各方面涉及利用来自多个装置的数据,以收 集、检测且/或测量运动数据,所述多个装置中的一些不是健身装置。在某 些实施方式中,BAN102(或任何其他网络)的一个或多个装置可以包括 特别为特定运动项目使用而设计的健身或运动装置。如在此使用的,术语 “运动装置”包括在特定的运动或健身活动过程中被使用或涉及到的任何物 理目标。示例性的运动装置可以包括但不限于高尔夫球、篮球、棒球、足 球、橄榄球、强力球、冰球、重物、球棒、球杆、球棍、桨、垫子及其组 合。在进一步实施方式中,示例性的健身装置可以包括在发生特定运动的 运动环境内的目标,包括环境本身,如进球网、篮框、背板、场地的各部 分,如中线、外边界标志物、底线及其组合。

在这个方面,本领域技术人员将理解到一个或多个运动装置也可以是 结构的一部分(或形成该结构),且反之亦然,机构可以包括一个或多个运 动装置或被构造成与运动装置相互作用。例如,第一结构可以包括篮球篮 框和背板,它们可以是可拆卸的并且与球门立柱一起更换。在这个方面, 一个或多个运动装置可以包括一个或多个传感器,如相对于图1-3讨论的 一个或多个传感器,这些传感器可以独立地或与其他传感器(如与一个或 多个结构相关联的一个或多个传感器)相结合提供所利用的信息。例如, 背板可以包括第一传感器,该第一传感器被构造成测量篮球在背板上施加 的力和力的方向,且篮框可以包括检测力的第二传感器。类似地,高尔夫 球杆可以包括被构造成检测杆身上的握紧属性的第一传感器和被构造成测 量与高尔夫球的冲击的第二传感器。

观察说明性的便携装置112,它可以是多用途电子装置,例如,包括 电话或数字音乐播放器,来自California的Cuperino的苹果公司的包括 或品牌的装置,可购自于Washington,Redmond 的微软的或Windows装置。如本领域中已知的,数字媒 体播放器作为用于计算机的输出装置、输入装置和/或存储装置。装置112 可以被构造为输入装置,用于接收从BAN102、LAN104或WAN106中的 一个或多个装置收集的原始或处理的数据。在一个或多个实施方式中,便 携装置112可以包括计算机装置114的一个或多个部件。例如,便携装置 112可以包括显示器116、图像捕捉装置118和/或一个或多个数字获取装 置,如上面讨论的I/O装置116-122中的任一个,具有或不具有额外的部 件,以包括移动终端。

B.说明性服装/饰品传感器

在某些实施方式中,I/O装置可以形成在用户124的服装或饰品内或 以其他方式与用户的服装或饰品关联,该服装或饰品包括手表、臂章、腕 带、项链、衬衫、鞋等。这些装置可以被构造成监视用户的运动动作。要 理解的是在用户124与计算机装置102的相互作用期间和/或计算机装置 102(或在此公开的任何其他装置)的独立操作期间它们可以检测运动动 作。例如,BAN102内的一个或多个装置可以被构造成作用为全天活动监 视器,无论用户是否与计算机装置102接近或相互作用,它都可以测量活 动。要进一步理解的是图3所示的传感器系统302和图4所示的装置组件 400仅仅是说明性示例,它们在下面的段落中描述。

i.鞋安装的装置

在某些实施方式,图1所示的装置126可以包括鞋类,其可以包括一 个或多个传感器,该传感器包括但不限于在此公开的和/或现有技术中已知 的那些。图3示出提供一个或多个传感器组件304的传感器系统302的一 个示例性实施方式。组件304可以包括一个或多个传感器,如例如加速度 计、陀螺仪、位置确定部件、力传感器和/或在此公开的或现有技术中已知 的任何其他传感器。在所示的实施方式中,组件304包括有多个传感器, 这些传感器可以包括力敏电阻(FSR)传感器306;但是可以使用其他传感 器。端口308可以定位在鞋的鞋底结构309内,并且大致构造成用于与一 个或多个电子装置通信。端口308可以可选地设置成与电子模块310通 信,且鞋底结构309可以可选地包括壳体311或其他结构以接收该模块 310。传感器系统302也可以包括将FSR传感器306连接到端口308的多 根引线312,以实现通过端口308与模块310和/或另一电子装置的通信。 模块310可以包含在鞋的鞋底结构内的凹坑或腔室内,并且壳体311可以 定位在该凹坑或腔室内。在一个实施方式中,至少一个陀螺仪和至少一个 加速度计可以设置在单个壳体内,如模块310和/或壳体311内。在至少进 一步的实施方式中,可以提供一个或多个传感器,在操作时,该传感器被 构造成提供方向信息和角速率数据。端口308和模块310包括用于连接和 通信的互补接口314、316。

在某些实施方式中,图3中所示的至少一个力敏电阻306可以包含第 一和第二电极或者电触头318、320以及设置在电极318、320之间以将电 极318、320电连接到一起的力敏电阻材料322。当压力施加到力敏材料 322上时,力敏材料322的电阻率和/或导电率变化,这改变了电极318、 320之间的电势。电阻中的变化可以被传感器系统302检测,以检测施加 到传感器316上的力。力敏电阻材料322可以按照多种方式在压力下改变 其电阻。例如,力敏材料322可以具有内阻,当材料被压缩时该内阻减 小。可以利用进一步的实施方式,可以测量“基于体积的电阻”,这可以通 过“智能材料”来实现。作为另一个示例,材料322可以通过改变表面与表 面接触的程度,如两片力敏材料322之间或力敏材料322和一个或两个电 极318、320之间的表面对表面接触的程度,来改变电阻。在一些情况下, 这种类型的力敏电阻特性可以被描述为“基于接触的电阻”。

ii.腕佩戴的装置

如图4所示,装置400(可以类似于或包括图1所示的传感器装置) 可以被构造成由用户124佩戴,如围绕手腕、臂、脚踝、脖子等。装置 400可以包括输入机构,如可压下的输入按钮402,其被构造成在装置400 操作期间被使用。输入按钮402可以可操作地连接到控制器404和/或任何 其他电子部件,如相对于图1中所示的计算机装置114讨论的一个或多个 元件。控制器404可以嵌入壳体406或否则为壳体406的一部分。显示器 可以被认为是装置400的可照亮部分。显示器408可以包括一系列单个照 明元件或照明构件,如LED灯410。所述灯可以形成为阵列并可操作地连 接到控制器404。装置400可以包括指示器系统412,该指示器系统412也 可以被认为是整个显示器408的一部分或部件。指示器系统412能够与显 示器408(可以具有像素元件414)相结合地操作并照亮或者完全从显示器 408分离。指示器系统412也可以包括多个额外的照明元件或照明构件, 在示例性实施方式中,其可以采用LED灯的形式。在某些实施方式中,指 示器系统可以提供目标的视觉指示,如通过点亮指示器系统412的照明元 件中的一部分,以表示向一个或多个目标的成就。装置400可以被构造成 基于用户的活动,或是通过显示器408且/或指示器系统412显示数据,该 数据以用户挣得的活动分或货币来表示。

紧固机构416能够脱开,其中装置400能够围绕用户124的手腕或一 部分定位,并且紧固机构416能够随后放置在接合位置。在一个实施方式 中,紧固机构416可以包括接口,该接口包括但不限于USB端口,用于与 计算机装置114和/或如装置120和/或112的装置操作上相互作用。在某些 实施方式中,紧固元件可以包括一个或多个磁铁。在一个实施方式中,紧 固元件可以缺少运动部分,并完全依赖于磁力。

在某些实施方式中,装置400可以包括传感器组件(图4中未示出)。 传感器组件可以包括多个不同的传感器,包括在此公开的和/或现有技术中 已知的那些。在示例性实施方式中,传感器组件可以包括或允许与在此公 开的或现有技术中已知的任何传感器的操作性连接。装置400和/或其传感 器组件可以被构造成接收从一个或多个外部传感器获得的数据。

iii.衣服和/或身体位置感测

图1的元件130示出可以与物理设备,如传感器、数据获取单元或其 他装置相关联的示例性感测位置。但在其他实施方式中,它可以是身体部 分或区域的特定位置,该特定位置如通过图像捕捉装置(例如,图像捕捉 装置118)监视。在某些实施方式中,元件130可以包括传感器,使得元件 1130a和130b可以是集成到衣服,如运动服中的传感器。这种传感器可以 放置在用户124的身体的任何期望位置。传感器130a/b可以与BAN102、 LAn104和/或WAN106的一个或多个装置(包括其他传感器)(例如无 线)通信。在某些实施方式中,无源感测表面可以反射图像捕捉装置118 和/或传感器120发出的波形,如红外光。在一个实施方式中,位于用户 124的衣服上的无源传感器可以包括大体球形结构,该球形结构由玻璃或 其他透明或半透明表面制成,该表面可以反射波形。可以利用衣服的不同 等级,其中,给定等级的衣服具有特定传感器,该特定传感器被构造成当 正确穿戴时靠近用户124的身体的特定部分。例如,高尔夫球服可以包括 一个或多个传感器,所述一个或多个传感器以第一构型定位在衣服上,而 足球服可以包括以第二构型定位在衣服上的一个或多个传感器。

图5示出了用于感测输入(例如,见感测位置130a-130o)的说明性位 置。在这个方面,传感器可以是定位在用户的衣服上/内的物理传感器,而 在其他实施方式中,传感器位置130a-130o可以基于两个动作的身体部位 之间的关系识别。例如,传感器位置130a可以通过利用图像捕捉装置,如 图像捕捉装置118识别用户124的运动来确定。从而,在某些实施方式 中,传感器不必物理地定位在特定位置(如传感器位置130a-130o中的一 个或多个),而是被构造成感测该位置的属性(如利用图像捕捉装置118) 或从其他位置收集的其他传感器数据。在这个方面,用户的身体的整体形 状或部分可以允许对特定身体部位的识别。无论是否利用图像捕捉装置和/ 或定位在用户124上的物理传感器,且/或利用来自其他装置的数据(如感 测系统302),利用在此公开的或现有技术中已知的装置组件400和/或任何 其他装置或传感器,所述传感器可以感测身体部位的当前位置和/或该身体 部位的跟踪活动。在一个实施方式中,与位置130m相关的传感器数据可 以在确定用户的重心(也已知为,质心)中被利用。例如,相对于位置 1306m-1306o,位置130a和位置1306f/130l之间的关系可以被利用以确定 用户的中心是否已经沿着竖直轴线(如,在跳跃过程中)升高或者用户是 否试图通过弯曲和屈伸他们的膝盖来假跳。在一个实施方式中,传感器位 置1306n可以定位在用户124的胸骨附近。同样,传感器位置146o可以大 概定位在用户124的肚脐。在某些实施方式中,来自传感器位置130m- 130o的数据可以被利用(单独或与其他数据相结合)以确定用户124的重 心。在进一步实施方式中,多个若干传感器位置,如传感器130m-130o, 之间的关系,可以在确定用户124的取向和/或旋转力,如用户124的躯干 的扭转中被使用。此外,一个或多个位置,如一个或多个位置,可以被利 用作为力矩位置的中心。例如,在一个实施方式中,一个或多个位置 130m-130o可以作为用户124的力矩位置的中心的点。在另一实施方式 中,一个或多个位置可以作为特定身体部位或区域的力矩中心。

II.用于从图像数据确定运动属性的系统和方法

本发明的各方面涉及被构造成改善运动员的能力以及时同步它们身体 的动作的系统和方法。某些实施方式提供了反馈系统,该反馈系统允许运 动员(或另外的个人,如训练员)理解和优化运动动作的一个或多个分量 或特征的定时。

本发明的各方面涉及处理在用户执行运动活动的同时取得的数据以确 定运动属性。执行身体活动的运动员的图像数据,如视频,可以被用于产 生和发出实时反馈信号,以向运动员提供节奏的指示。进一步的方面涉及 使用数据,包括但不限于图像数据和/或在此公开的任何传感器(包括参照 图1讨论的那些),以产生并发出实时反馈信号,提醒运动员运动动作的一 个或多个特征或分量的正确定时。仍进一步的各方面涉及使用图像和/或其 他传感器数据,以检测运动员的不正确定时和/或动作,并作为响应产生实 时反馈信号。这些和其他方面将在下面说明性示例的背景下讨论,该说明 性示例意在提供示例,而非限制本发明的范围。

图6示出根据本发明的某些实施方式可以被利用的示例性实现方式的 流程图600。作为图6的一部分提供的方法的一个或多个方面或者本公开 的任何其他部分可以被利用以确定个人的运动属性。在某些实施方式中, 一个或多个运动动作的节奏可以被确定。在这个方面,图6的一个或多个 方面可以被用于提供反馈系统,以允许运动员察觉出在运动动作期间那个 节奏、力量、速度或其他运动参数与优异结果相关。其他各方面可以被利 用以计算用户的运动等级。在某些实施方式中,等级可以是运动项目特定 的运动等级。例如,单个运动员可以针对高尔夫球和足球具有不同等级。 在进一步实施方式中,该等级可以是针对运动项目内的活动的位置或类型 特定的。例如,第一高尔夫球等级可以涉及球杆摆动的节奏,而第二等级 可以涉及轻击杆的节奏。作为其他示例,对于足球等级,第一等级可以涉 及前锋位置,而第二等级可以涉及守门员位置。对于美式橄榄球等级,第 一等级可以涉及四分卫位置,而第二等级可以是跑卫位置。类似地,在跑 步运动项目中,第一等级可以是冲刺等级,而另一等级涉及较长距离。

方块602可以被初始化,以接收执行身体活动的运动员的多个连续图 像。在一个实施方式中,连续图像可以被实时接收。本领域技术人员将理 解到在接收、存储和处理被接收的数据中存在固有的延迟,甚至对于直播 或实时数据而言。身体活动可以包括运动员的任何身体动作,并且可以包 括运动员与其他参与者一起参与在运动项目或者活动中。本领域技术人员 理解大部分身体动作不是简单的单个动作。反之,更多活动包括多个运动 动作。作为一个示例,高尔夫摆动可以是运动活动。高尔夫摆动被已知为 在其最简单形式需要来自高尔夫球手的至少两个不同动作,后摆和随后的 向前摆动,该向前摆动与高尔夫球接触。进一步地,后摆动作经常是不规 则的,但是包括若干不同特征,如开始点、随着球杆向后延伸的加速方 面,以及终止点,在该终止点开始向前摆动。类似地,篮球跳投包括多个 运动,如运动员跳离球场(propellingoffthecourt)、弯曲肘部以及腕关节的 动作。在不同实施方式中,跳投的这些方面中的每一个可以分类为动作或 特征或特定动作的分量,尽管如此,向运动员提供关于这些方面的他们的 节奏的指示是有益的。因此,一个或多个实施方式涵盖了包括图像数据的 多个连续图像的接收。

图像数据可以已经从图像捕捉装置捕捉,该图像捕捉装置包括以下中 的一个或多个:便携娱乐装置、立体摄像机、红外摄像机、游戏机摄像机 及其组合或者本领域已知的其他装置,包括但不限于关于图1描述的图像 捕捉装置118、传感器120、计算机装置114和/或便携装置112中的一个或 多个。如上面讨论的,图像数据可以实时地被捕捉和/或接收,如允许运动 员在执行运动活动期间获得反馈。在一个实施方式中,方块602捕捉多个 图像,其中,至少第一图像包括在预定身体活动的初始化执行之前运动员 的图像数据,而多个随后的图像包括执行预定身体活动的运动员的图像数 据。图像数据可以包括像素数据。

在一个实施方式中,计算机装置114和/或装置112可以包括图像捕捉 装置(例如,见图1中所示的图像捕捉装置118和传感器120),且触发可 以从扬声器、显示器或发光装置(例如,图1所示的显示装置116和/或图 4所示的装置400的显示器408)中的至少一个发出,所述触发可以连接到 装置本身(如与装置成一体,或者本地或经各种网络架构(例如,蜂窝网 络架构108和/或WAN架构110)连接)。再其他实施方式可以包括电子装 置,如装置128或计算机装置114,其被构造成如通过一个或多个感测装置 接收和/或破译从单独和不同装置、目标或事物(包括人产生的输入,例 如,人声音)发出的触发。在这个方面,可以构想到根据很多不同的实施 方式,方块604的触发(和在此公开的其他触发)相对于一个装置的至少 一个传感器输入是机器可察觉的。

一个或多个实施方式可以基于触发事件来触发图像数据的捕捉。触发 事件可以被利用以引发来自用户的行动,如指导运动员执行身体行动,如 进行跳投投篮、摆动高尔夫球杆或者任何其他身体活动。在某些实施方式 中,触发事件可以被利用以引出行动的一部分,如执行网球拍或其他球 杆、球棒或其他运动装置的后摆或向前摆动。如在此使用的,术语“运动装 置”包括在特定运动项目中被使用或所涉及的任何物理目标。示例性的运动 装置可以包括但不限于高尔夫球、篮球、棒球、足球、橄榄球、强力球、 冰球、重物、球棒、球杆、球辊、桨、垫子及其组合。在进一步的实施方 式中,示例性健身装置可以包括在运动环境内的目标,在该运动环境内发 生特定的运动项目,包括环境本身,如进球网、篮框、背板、场地的一部 分,如中线、外边界标志、底线及其组合。在这个方面,本领域技术人员 将理解到一个或多个运动装置也可以是结构的一部分(或形成结构)且反 之亦然,机构可以包括一个或多个运动装置或者可以构造成与运动装置相 互作用。例如,第一结构可以包括篮球篮框和背板,它们可以拆除并用球 门立柱更换。在这个方面,一个或多个运动装置可以包括一个或多个传感 器,如上面相对于图1至5描述的一个或多个传感器,所述传感器可以独 立地或与其他传感器,如与一个或多个结构相关联的一个或多个传感器相 结合地提供使用的信息。例如,背板可以包括被构造成测量篮球施加在背 板上的力和力的方向,篮框可以包括检测力的第二传感器。类似地,高尔 夫球杆可以包括被构造成检测握持属性的第一传感器以及被构造成测量与 高尔夫球的冲击的第二传感器。

运动装置可以包括可移除的传感器,如被构造成检测加速度的加速度 计模块。加速度计模块可以用不同传感器(即,压力传感器)替代。利用 可移除传感器可以允许传感器与若干不同装置一起使用,如足球、强力 球、橄榄球,且/或允许用户升级或更换故障装置,而不必获得新的传感 器。在某些实施方式中,一个或多个传感器201的放置可以被构造成使得 所包括的传感器的重量不改变运动装置的平衡或重心。

在某些实施方式中,一个或多个传感器可以被用户保持、附连或穿 戴。示例性的个人装置尤其可以包括服装,如鞋、衬衫、短裤、手套、帽 子;或电子装置,如手表、电话和媒体播放器。在一个实施方式中,传感 器可附连于用户的鞋。在另一实施方式中,装置可以附连到用户的手臂, 如类似地由手表、手环所执行的;或者由手可抓住,如任何手持电子装 置,包括移动电话和/或个人媒体播放器。本领域技术人员在本发明的利益 下将轻易理解到一个或多个个人装置可以在其中包括运动装置,或任何其 他部件。同样,一个或多个结构可以包括或被构造成与一个或多个个人装 置相互作用。

触发事件可以被用于触发执行身体动作的运动员的图像数据的捕捉。 图7提供了可以执行的一种方法的流程图,如图6的方块602的一部分或 者与方块602分开。参见图7,决定702可以做出以确定是否开始触发事 件。对决定702的输入或任何其他决定在此尤其可以基于用户输入、传感 器数值及其组合。例如,在一个实施方式中,触发事件可以被构造成指示 或表示运动员开始身体活动的执行(例如,见方块704)。从而,是否实现 触发事件和/或什么触发可以被用作触发事件的一部分可以取决于身体活 动、触发和/或用户的位置、用户输入、位于非瞬态计算机可读介质上的预 先限定的计算机可执行指令,或者它们的组合。虽然流程700被示为以决 定702开始,但是本领域技术人员将理解到流程700不必以决定702或任 何其他决定开始。此外,决定702或任何其他决定或在此公开的方块可以 在本文公开的任何其他过程之前、之后或过程中部分或全部实现,除非由 自然法则所禁止。

触发(无论是否用在方块704内或在此公开的任何其他过程或系统 中)可以是音频、视频、触觉或其组合。实际上,本领域技术人员将理解 到根据本发明可以利用任何人可感知的触发。触发可以表示或指示用户执 行预定身体动作。例如,用户可以被指示在看到来自电子装置的闪光时开 始200米冲刺。在仍另一实施方式中,用户可以被指示以在听到可听见的 提示时执行特定运动项目制定的锻炼。仍在其他实施方式中,触发本身可 以提供指令,所述用户可以被通知在接收触发之前进行何种活动。在这个 方面,在某些实施方式中,简单的闪光或者可听见的噪声可以是足够的。 在一个实施方式中,人可感知的触发从可操作地连接到第一摄像头的装置 传输,该第一摄像头被构造成捕捉执行身体活动的用户的至少一个图像。 本领域技术人员将进一步意识到在单个过程中可以利用多个触发。

多个触发中的至少一个可以是与另一触发不同的类型。例如,第一触 发可以是可听见的触发,并且第二触发可以是触觉触发。作为另一示例, 第一触发可以是第一可听见的触发,且第二触发可以是不同的可听见的触 发,如通过不同的声音、音调、音量、持续时间和/或其组合。此外,不同 的触发可以在不同的时间实现和/或使用以要求来自运动员的不同活动。例 如,第一触发(如在方块704处实现的)可以被构造成导致运动员开始执 行第一运动身体活动。在仍另一实施方式中,第二触发可以被实现,以指 示或暗示运动员执行第二身体活动。与方块704类似或相同的过程可以被 执行,以实现第二触发,包括基于决定(如决定702)。在一个示例中,为 了指示运动员在执行身体动作过程中执行预定活动,第二触发(可以与针 对第二情况实现的第一触发相似或相同)以暗示或指示运动员在执行身体 活动过程中执行预定活动。类似地,触发标志可以与第二图像(或多个图 像)相关联。在一个实施方式中,第二触发标志可以与多个图像之内的图 像关联,所述多个图像与第二触发事件的定时相关。一个或多个标志可以 与响应于触发运动员执行的活动相关联。这种标志可以基于察觉的运动或 从像素数据确定的动作与图像相关联。处理图像的示例性方法在此描述, 包括但不限于图6的方块604和606以及图8的804和806。本领域技术 人员将理解其他实现方式也在本发明的范围内。

在某些实施方式中,图像数据的捕捉(如,图6的方块602的一部 分、图7的方块706或者任何其他过程)可以响应于触发(如作为流程 700的一部分实施的触发)。例如,触发可以由电子装置接收或以其他方式 感测。在一个实施方式中,被构造成捕捉运动员的图像数据的图像捕捉装 置可以检测、感测和/或测量触发,并作为响应,自动开始捕捉图像(例 如,见方块706)。在其他实施方式中,至少一个图像在至少一个触发事件 之前被捕捉。例如,这可以用于确定用户是否跳过触发,如期望触发。与 图像数据是在触发事件之前还是之后被捕捉无关(例如,方块706),触发 标志可以与多个图像之内的图像相关联(例如,方块708)。例如,非瞬态 计算机可读介质可以包括计算机可执行指令,该指令在被处理器执行时, 被构造成将触发事件的定时相关的触发标志与相应的图像数据相关联。本 领域技术人员将理解具有很多方式来标志或以其他方式标记点存储的图像 数据;因此,它们在此不在进一步详细地解释。如下面更详细解释的,一 个或多个触发标志可以在确定一个或多个运动属性中使用。

这个发明的进一步方面涉及处理图像数据,如在方块602的部分捕捉 的图像数据。如上面讨论的,数据的捕捉和/或接收可以实时进行。进一步 的实施方式也涵盖图像数据的实时处理。作为一个示例,方块604可以开 始处理多个图像的至少一部分,以识别在身体活动期间执行第一运动动作 的第一特征的第一运动员的图像数据。在某些实施方式中,图像数据之内 的运动员的身体部分的位置或者运动装置的位置(绝对位置或相对于另一 目标,如图像数据表示的运动员和其他目标)可以用于检测特定动作的一 个或多个特征的执行。例如,如果身体动作是具有上摆运动动作和随后的 下摆运动动作的高尔夫球摆动,示例性检测可以包括检测表示高尔夫球杆 在距地面第一距离之内的像素数据。在另一实施方式中,运动员正执行上 摆运动动作的第二特征的图像数据从表示高尔夫球杆在距地面的第二距离 之内的像素数据来检测。

在仍其他实施方式中,特征正在执行(或已经执行)的指示可以包括 运动参数的检测。例如,速度值或加速度值中的至少一个可以被用于确定 特征的开始或发生(或指示特征将很快发生的可能性)。运动参数可以整体 由图像数据(如例如确定不同图像之间的像素数据变化)确定。在其他实 现方式中,运动参数可以在不使用图像数据的前提下确定。例如,关于图 1至5的上述一个或多个传感器可以单独或与其他传感器相结合地使用。 在仍再进一步实施方式中,一个或多个运动参数可以从图像数据和其他传 感器数据二者确定。本领域技术人员将容易理解位置、运动数据、传感器 数据(基于图像和非基于图像的)可以用于检测运动动作之内的特征(或 运动动作自身)的发生。

图8是根据某些实施方式的可以用于检测运动动作的一个或多个特征 的示例性方法的流程800。在某些实施方式中,流程800的一个或多个元 素可以作为图6的方块604的一部分实施。在再另一实施方式中,流程的 一个或多个元素可以完全独立于方块604实施。根据某些实施方式,图像 数据可以被处理以确定图像数据所表示的目标的一个或多个动作是否满足 阈值标准(例如,见方块804/806)。示例性标准可以包括动作标准和动作 质量标准(例如,分别见方块804和806)。在一个实施方式中,如第一动 作阈值标准的第一标准可以作为过滤器,其识别被关注的特定图像,且第 二标准进一步识别哪个数据(可以在相同组内)符合更严格标准。第二表 面可以是动作质量阈值(例如,见方块612)。在仍另一实施方式中,第一 和第二标准可以独立进行,且在再进一步实施方式中,可以使用多个标准 中的仅一个。在某些实施方式中,标准可以包括一个或多个动作阈值标 准、一个或多个阈值质量阈值标准和/或其他标准。

在一个实现方式中,方块804可以被实施,并且方块804的结果可以 被使用,至少部分被使用,作为是否实施(或如何实施)方块806或其他 过程的确定。在仍另一实施方式中,第一和第二标准可以独立进行。例 如,方块806可以同时或在不同时间实施,无论彼此的结果如何。在仍进 一步实施方式中,可以利用多个标准中的仅一个。例如,方块804和806 中的仅一个(或其一部分)可以被实施。

作为一个非限制性示例,方块804可以被实施以处理图像数据,以识 别满足动作阈值的数据。在一个示例中,多个被接收的图像中的一个或多 个可以被用于识别满足至少第一动作阈值的第一图像范围。图像数据(它 可以包括全部图像或图像的一部分)可以被分析以识别图像数据内表示的 目标的动作的第一阈值水平。该目标可以是运动装置,如球、球拍、冰球 或手套。该目标也可以是运动员或运动员的一部分。在某些实施方式中, 像素数据可以被分析以识别被捕捉图像中满足第一阈值水平的一部分内的 像素数量。

阈值水平可以被构造成表示目标的动作。作为非限定性示例,用作方 块804的一部分或在此描述的任何其他过程的一个或多个阈值可以被联接 到水平动作(例如跑步)或竖直动作(例如扣球)或二者。这个阈值水平 能够与在此公开的一个或多个额外的阈值水平完全不同。例如,第一动作 阈值可以被运动员的手臂动作触发,且第二阈值可以选择与另一身体部位 或区域,如另一手臂、腿等相联接的特定动作。作为另一示例,第一动作 阈值可以与高尔夫球杆头相关联,而另一个被运动员的手臂动作所触发。 在一个实施方式中,第一阈值可以检测第一身体部分是否移动且/或身体部 分是否沿着特定轴线移动。如在此使用的,身体部分可以是在图像(例如 像素)数据内表示的用户的身体的一个或多个区段、区域、系统或部分。 在一个实施方式中,图像数据可以与单个附属肢体(例如,腿或手臂)、一 组附属肢体(例如,手臂和腿或两个手臂)或其一部分相关。在某些实施 方式中,身体部分可以对应于多个附属肢体的一部分,如上腿和/或手臂内 侧区域,而在其他实施方式中,该部分不包括附属肢体。在其他实施方式 中,第一区域(例如,上部区域)可以从其他区域(例如,下部区域)分 开。本领域技术人员在本发明的益处下将理解到图像数据(如至少一个像 素)所表示的身体的任何部分根据某些实施方式可以作为是身体部分。此 外,将在下面讨论阈值水平的讨论,包括参照与方块806相关的动作质量 阈值。这些讨论结合于此并结合在整个本公开内容中。

在一个实施方式中,图像数据的至少一部分,如多个图像或其部分可 以被处理,以识别初始图像(例如,见方块804a)。在一个实施方式中,初 始图像可以是其中首先识别特征的帧或图像。在一个实施例中,他可以是 其中运动员首先移动的图像。在仍另一实施方式中,初始图像可以是其中 比赛或活动开始的图像。例如,在一个实施方式中,另一赛跑选手的运动 可以发出时间开始的信号。在另一实施方式中,看到摆动的旗帜表示时间 已经开始,或者根据各种实施方式,可以由图像捕捉的开火导致的枪冒烟 以及其他动作可以用于表示初始图像。在一个实施方式中,第一标准可以 指向与第一运动员相关联的动作。在特定实现方式中,初始图像基于用户 输入,如用户选择表示初始图像的UI元件来确定。例如,记录运动员的用 户可能希望随着运动员执行特定动作而实时地标记初始图像。例如,刚好 在篮球运动员试图扣篮之前的图像可以被识别为初始图像。在某些实施方 式中,初始图像的识别可以导致以不同的帧率捕捉图像。本领域技术人员 将理解结合某些实施方式也可以使用其他非运动事件。例如,一个或多个 声音、触觉输入或其他信息(包括但不限于在上面关于图6和7所描述的 那些)可以与一个或多个实施方式结合使用。第二动作阈值可以被实施, 以检测该动作是否满足阈值标准。

在特定实现方式中,地标/距离标定可以从时间戳图像数据使用,以允 许精确的表现测量。例如,图像数据所表示的目标可以被用于确定动作阈 值是否被满足(例如,方块804b)。例如,在场地上的标记(如,码线) 可以用于标定距离测量。在某些实施方式中,目标可以被识别,且在识别 时,用在标定过程中。例如,很多运动场、跑道、赛场等具有固定的尺 寸。同样,篮球框、球门立柱、球门网和其他目标通常尺寸为特定已知尺 寸。这些尺寸可以用于识别阈值和/或确定特定阈值是否被满足,包括但不 限于用于垂直起跳的飞行时间、投掷距离、踢出的距离和力量,尤其是, 两个距离之间的冲刺时间。这种标定技术可以不局限于静止的目标。例 如,球、冰球和其他运动装置可以用于标定距离。在这个方面,篮球具有 已知的形状和尺寸。这种尺寸可以用于标定测量值。虽然这些标定技术已 经关于方块604加以描述,本领域技术人员将理解到这种技术不局限于 此,而是相反,可以应用于在此描述的包括块806在内的任何系统和方 法。阈值的进一步方面在下面立即描述。

某些系统和方法可以包括利用决定606来确定是否需要额外的数据, 如是否多个阈值或标准被满足。例如,再次参照图8,流程800的方块806 可以被实施以确定图像数据(例如,像素数据)是否满足另一阈值,所述 另一阈值可以与方块804的动作阈值不相关。从而,方块804可以独立于 方块806执行,反之亦然。在某些实施方式中,图8中所示的方块806的 一个或多个过程可以相对于图6所示的方块604以并行方式或串行方式执 行。在一个实现方式中,方块806可以识别运动员的满足第一动作质量阈 值的第一身体部分。此外,本领域技术人员将理解到各个方块,如804和 806的各部分可以与其他部件独立地实施。例如,子方块804a可以与方块 804完全分开地执行。此外,要理解的是在替代实施方式中,方块804和 806(或图8的任何其他方块)的一个或多个部分可以被组合。例如,子方 块804a可以被用作方块806的一部分,且子方块806a-c中的一个或多个可 以在方块804中使用。

在图像数据中表示的运动员的身体的一个或多个部分的选择和/或利用 可以尤其基于预定的身体活动、用户输入、历史数据及其组合。在一个实 施方式中,方块806可以包括一个或多个子部分,该子部分可以彼此独立 地进行,而在其他实施方式中可以至少部分取决于方块806的另一子部分 或另一机构。例如,预定身体活动可以被使用(全部或部分)以选择哪个 身体部分被利用和/或该部分的动作(如在所捕捉的图像数据中表示的)是 否满足质量阈值(例如,见方块806a和806b)。作为在方块806a中识别身 体部分的一个示例,第一实施方式可以利用与运动员的腿相关联的图像数 据,如,如果预定身体活动包括200米短跑事件或由200米短跑事件构成 的话。仍另一实施方式可以利用与运动员的腿的至少一部分以及他们的手 臂相关联的图像数据。在仍进一步实施方式中,用户输入可以可选地被提 供,以选择哪个图像数据被使用。用户输入可以被构造成从多个选项中选 择一个选项,而在其他实现方式中,用户可以选择要被利用的任何部分或 局部。

可以实现系统和方法,该系统和方法基于图像数据自身的特征利用图 像数据中表示的不同身体部分或目标。例如,表示运动员位于距摄像机第 一距离处的像素数据可以比表示同一运动员相对于捕捉图像数据的摄像机 处于比第一距离更远的第二距离的像素数据更准确和/或更精确。此外,随 着运动员执行运动活动,缩放、照明条件或其他参数可以改变被捕捉图像 数据的质量。因此,选择一部分(例如,806a)和/或质量阈值(例如, 806b)可以基于无数的因素,其中的一些可能比其他的更有分量。在某些 实施方式中,在一个或多个处理步骤中,选择和/或切换图像数据的哪部分 被使用可以是自动的,使得运动员或者摄像机的操作者不必做出选择。它 可以实时进行,使得随着数据正被捕捉,在图像数据中表示的目标的选择 和/或切换被进行。

作为另一示例,运动员可以在执行活动期间贯穿四维空间行进。因 此,观察运动员的摄像机可以在捕捉图像数据的过程中变化。在其他实施 方式中,多个摄像机(可以具有不同能力)可以提供图像数据。这些和其 他变量可以导致不同的部分被利用或者质量阈值被确定。例如,在一个实 施方式中,包括在第一距离处的短跑选手跑步的图像数据可以被使用,最 起码,包括表示运动员的腿(或其一部分)的像素的图像数据被利用。但 是,随着用户进一步远离图像捕捉装置行进,表示运动员的腿(或其一部 分)的像素的数量会减少,因此,在一个实施方式中,可以利用另一个身 体部分,以补偿像素数据的这种减少。作为一个示例,可以实施决定 808,以确定是否改变、升级、切换或以其他方式调节被所利用的像素数据 表示的运动员的部分(例如,方块806a)和/或它们如何被利用(例如,方 块806b)。在某些实施方式中,方块806可以被实施,以确定是否调节与 方块806的运动阈值和/或方块806相关联的参数,和/或其他阈值。

例如,作为调节方块806的一个或多个参数的非限制性示例,来自运 动员的腿的像素数据可以被初始使用,如通过块806a,以识别用于第一动 作质量阈值的图像数据;但是,来自运动员的手臂的像素数据可以补充或 替代表示腿的像素数据的使用(如通过方块806a)。从而,在某些实施方式 中,被利用的身体部分或目标的选择和切换可以是迭代过程。此外,用于 这些身体部分中的一个或多个的阈值水平可以基于来自不同图像的图像数 据的质量变化。在某些实施方式中,动作质量阈值可以比较运动员的身体 的多个部分的动作,并确定两个或多个部分是否相对于彼此运动。例如, 手臂摆动数据可以与腿动作数据相比较,以确定哪个最精确反应预定身体 活动。

根据一个实施方式,表示相关身体部分(如来自方块806a)的图像数 据可以被识别。表示相关身体部分的图像数据可以被隔离。在某些实施方 式中,周围像素数据可以被使用。而在其他实现方式中,图像数据的整个 帧可以被利用以确定是否已经满足一个或多个阈值极限。在特定实现方式 中,光流算法可以被利用以分析图像数据(例如,像素数据)并确定身体 部分的动作。在这个方面,一个或多个图像捕捉装置可以在不同或可变的 帧率下捕捉图像。例如,图像捕捉装置可以在30到240帧每秒(fps)的 可变速率下捕捉数据。因此,动作的确定可以利用捕捉信息的速率,以准 确地确定可以由不均匀的时间段分隔的数据帧之间的时间间隔。作为另一 示例,第一图像捕捉装置可以在100fps的速率下捕捉图像,而第二图像捕 捉装置可以在70fps的速率下捕捉图像。从而,来自两个图像捕捉装置的 数据可以被标准化,以解释像素运动之间的时间中的变化。在一个实施方 式中,多个连续的图像中的至少一部分各自代表大约六十分之一秒,而在 另一实施方式中,多个连续图像中的至少一部分各自代表不超过六十分之 一秒。由于数据的若干帧在一些实施方式中可以每秒捕捉和分析,可以向 运动员提供实时分析,而没有显著的延迟。在某些实现方式中,具有第一 帧率的图像和具有第二时间帧的图像之间的准确时间可以被确定。这个准 确时间可以在一个或多个过程中被利用。在某些实施方式中,来自两个图 像的数据可以被处理以确定两个数据帧之间的运动。在一个实施方式中, 像素运动可以从两个依次的图像插值。在某些实施方式中,可以利用多个 摄像机。作为一个示例,具有相同帧率的两个摄像机以被构造成具有同步 偏移。利用同步偏移可以允许获得更高效的帧率。例如,如果第一摄像机 设定为50fps且在也设定为50fps的第二摄像机之前的一百分之一秒开始捕 捉图像,那么,总地来说,来自两个摄像机的图像可以被利用以获得 100fps的有效帧率。根据某些实施方式,使用多个摄像机也可以利用来矫 正任何不正确的数据。例如,被构造成捕捉50fps的第一摄像机仅捕捉48 或49fps,由此来自第二摄像机的数据可以在相关的时间段期间提供准确图 像数据。

利用被识别的参数,图像数据(例如,像素数据)被利用以确定第一 身体部分动作质量阈值被满足(例如,见方块806c)。在一个实施方式中, 表示人形式的图像数据可以被利用以识别表示运动员的像素或其他图像数 据。如果多个运动员存在于帧内,则关注的特定运动员可以被隔离。在一 个实施方式中,运动员可以基于运动员的已知参数(例如,身高、重量、 衣物的颜色)来隔离。在另一实施方式中,用户输入可以指示哪个像素数 据代表运动员。在仍进一步的实施方式中,运动员可以穿戴可检测的标 记,该标记被构造成被至少一个电子装置可检测。本领域技术人员将轻易 理解到这些仅仅是示例性的。

某些实施方式可以加权一个或多个参数,所述一个或多个参数源自于 用于确定图像数据运动(如像素的运动)的光流算法或其他过程。在这个 方面,本发明的各方面涉及新颖的运动熵算法。在某些实施方式中,来自 多个图像之间的像素运动的数据可以被用于识别运动的类型。作为一个示 例,可以使用从光流过程提供或派生的数据。示例性数据可以包括从一个 帧或图像到另一个帧或图像(在现有技术中,有时称为流场)被识别目标 的像素距离变化。这些可以被用于识别运动的特定类型的参数中。在某些 实施方式中,这些输出可以用于分段和运动识别。在一个实施方式中,大 规模运动可以首先被识别,然后可以识别更详细的运动。作为一个示例, 第一过程可以确定运动员在跑步,且作为响应,一个或多个过程可以然后 用于具体检测手动作及其特征。可以被识别或派生的其他运动包括:活动 的开始、加速度、速度、反应、节奏、目标运行的距离或者活动的完成。 进一步的实施方式可以利用一个或多个过程来确定分段、缩放或其他特征 中的哪一个可以被实现或者它们被利用的程度。

这些或其他过程可以用于提供输出,该输出给出结论:特定运动在相 应的帧处发生。在一个实施方式中,运动员动作(或者动作的特征)可以 基于图像数据内的速度值、加速度值、运动员身体部分的位置或者运动装 置的位置从运动参数检测。阈值被满足的确定可以至少部分基于参数做 出。例如,运动参数的确定至少部分基于确定速度值或加速度值满足第一 阈值来确定。一个或多个这些属性可以整个从图像数据确定。但是,如上 面讨论的,其他传感器数据可以被使用,独立地或者与图像数据相结合地 使用。

在这个方面,本发明的各方面涉及设备与运动员特定身体动作或者活 动相关的图像数据(如但不限于特定图像)(例如,方块810)。例如,某 些实施方式可以检测运动活动的开始、运动动作的执行和/或动作特征的发 生。作为非限制性示例,图像数据可以被用于识别一个或多个动作,包 括:活动的开始、加速度的水平、速度、反应和/或节奏、目标运行的距 离、活动的完成等。如上所述,目标(静止的或活动的)可以被利用以标 定测量结果,包括涉及动作质量阈值的那些。

从而,方块810可以被实施以识别图像数据(包括特定帧或图像),诸 如,包括但不限于:初始图像、终止图像或包括运动数据的其他图像,所 述运动数据可以基于在此公开的系统或方法来识别。初始图像和/或终止图 像可以针对一个或多个运动员动作、动作的运动特征或其组合来识别。作 为利用方块806和810的实施方式的一个示例,方块806可以被利用以确 定像素数据在两个依次的图像之间是否变化,使得该变化满足特定的第一 身体部分(例如,上臂)动作质量阈值。如上所述,两个连续图像之间的 图像数据可以插值或以其他方式从现有图像数据中导出。从而,基于第一 身体部分质量阈值被满足,它首先在其中出现的相应图像被识别或标志为 初始图像。在一个实施方式中,方块810的实施可以利用在任何运动确定 中在被认为是初始图像的之后的随后的图像。例如,如果多个依次的图像 的分析进一步揭示了运动员参与了特定活动,那么一个实施方式可以分析 过去的图像(或其一部分)以识别特定动作在哪开始。由于多个帧可以在 一秒之内捕捉,某些实施方式可以分析数十个图像而没有过度延迟。而在 其他实施方式中,系统和方法可以仅基于那个图像和/或在那个图像之前的 图像来识别初始图像(或其他图像)。类似地,终止图像可以基于特定阈值 (或多个阈值)不被满足来识别。在其他实施方式中,终止图像可以基于 第二阈值(如例如不同身体部分动作质量阈值)被满足来识别。根据一个 实施方式,运动员的躯干的运动可以被用作棒球运动员投球的初始图像 (例如,方块804a)的识别,而涉及运动员的甩臂(throwingarm)的动作的 质量的动作质量阈值可以用于确定运动员在投球和/或投掷球(例如,方块 806)。在某些实施方式中,表示球撞到街球手的手套或球棒的图像数据可 以表明投球的终止图像。但是,也可以利用其他阈值,如但不限于方块 804中所描述的一个,该其他阈值可以单独使用或与身体动作质量阈值结 合使用。

从而,图像数据,单独地或与其他传感器数据相组合地可以被利用, 以识别运动员的表现属性。作为一个示例,特征的初始图像(单独地或与 另一图像组合)可以被用于确定运动员的至少一个表现属性。示例性的属 性可以包括但不限于速度、反应、耐力及其组合。在另一实施方式中,可 以利用包括完成特征的图像数据的完成图像(可以在方块810从在方块 804和/或806的一个或多个过程中获得数据中识别)。在一个实现方式中, 基于初始图像和完成图像的身体动作持续时间可以被计算。这种信息可以 被用于确定速度、加速度、节奏、布幅或其组合。如下面将解释的,这种 信息也可以用在与表现等级相关的一个或多个计算中。

属性的确定可以利用从一个或多个其他传感器获得的数据,该一个或 多个传感器不用于捕捉图像数据。根据某些实施方式,响应于外部激励的 图像数据的变化可以被考虑。在一个示例中,与触发事件相关联的标志图 像可以被利用。作为一个示例,用于运动员的反应值可以基于与触发标志 相关的图像和初始图像之间的持续时间来确定。例如,外部激励,如可听 见的或视觉线索,可以标志竞赛的开始,并于是,相关的图像可以被标志 为与第一触发事件(例如,方块708)相关。基于一个或多个阈值被满 足,如在此所描述的(例如,方块804和806),它可以确定用户已经开始 预定活动。在某些实施方式中,该活动可以是运动项目特定的活动。从 而,用户的反应时间可以从触发事件的标志图像和初始图像来确定。

如上面关于方块704所讨论的,一个或多个触发事件可以在运动员执 行身体活动之前、过程中或之后发生。在一个实施方式中,第二触发时间 可以被利用以指示运动员在身体活动的执行期间执行预先限定的动作。第 二触发标志可以关联于与第二触发时间的定时相关的图像(如方块708或 另一过程)。另一标志可以关联于与执行预先限定动作的运动员相关的图 像。在一个这样的实施方式中,基于与第二触发标志相关的图像和以执行 动作的运动员相关的图像之间的持续时间可以计算运动员的第二反应值。

在进一步实施方式中,第二数据(包括非图像传感器数据)可以在此 处描述的任何确定、派生或计算中使用。传感器数据可以从包括但不限于 腕戴的传感器、鞋佩戴的传感器、便携娱乐电子装置及其组合。根据一个 实施方式,传感器数据可以被用于在多个图像的至少一部分上进行图像稳 定化。在一个实现方式中,传感器数据可以从传感器接收,该传感器可操 作地附接到运动员,并用于图像稳定、在被捕捉的图像数据中将运动员从 多个目标中识别、确定何时捕捉图像、确定什么图像数据要处理以及/或其 他应用。

本发明的进一步方面涉及将反馈信号传输到运动员(例如,图6的方 块608)。反馈信号可以基于检测到的运动数据和/或基于该运动数据的用于 特定运动动作的最佳定时。如在此所使用的,反馈信号可以是音频的、视 觉的和/或触觉的,如振动或脉冲触觉装置,闪烁、改变颜色、改变亮度等 的光学装置(例如,LED或其他灯)、发出声音的音频装置,如滴答声、嘟 嘟声和/或音乐或可以包含节奏特性的其他音频效果、连续的、依次的和/或 呈现其他特性。作为非限制性示例,某些实施方式可以利用提供触觉反馈 和/或振动马达的电活性聚合物(EAP)。在某些实施方式中,一个或多个反 馈装置可以穿戴在身体上(或以其他方式(直接或间接))与身体接触。反 馈可以是可调节的和/或可控制的。

利用图8的流程800作为一个示例,方块812可以被实施以将实时反 馈信号发送给运动员。反馈可以响应于识别活动的执行(例如,摆动球 杆)、活动的动作(例如,后摆)或特定动作的特征(例如,开始后摆、在 后摆过程中球杆的速度/位置)或其组合来发送。例如,在一个实施方式 中,确定阈值被满足或者身体或设备的位置被达到(如方块703的一部 分)和/或图像数据被相关到特定动作(如方块810的一部分)可以导致对 后摆的第一特征正发生或刚发生的确定。作为一个示例,身体的一些部分 的位置或者在使用中的设备(如果有的话)的位置/3D取向可以被触发, 以用于特征确定。基于该确定,反馈信号,如可听见的音调,可以被发送 给运动员。

很多运动员将期望知道不止单个数据点(如何时特征被开始或结束)。 在这个方面,利用多个数据点可以在很多情况下更有益。利用多个数据 点,如例如,检测多个特征(与动作一起)并将允许在不同特征之间做出 区分的反馈发送给运动员将是非常有益的。例如,可以极大影响高尔夫摆 动(或任何其他行动,如网球摆动)的一个方面是摆动本身的速度。过慢 的摆动将导致较少的能量传递到球,并且过快的摆动可以导致高尔夫球手 失去摆动中的控制和一致性。摆动的节奏或换言之后摆和前摆的定时也可 以对摆动的速度和一致性以及摆动的其他方面具有巨大影响。

因此,方块812可以被开始(或基于图像数据重复)以传输各种频率 处的音频反馈音调,从而提供关于高尔夫球摆动的节奏的反馈。例如,决 定814可以被实施以导致基于实时数据多个反馈信号的传输。在某些实施 方式中,可以分析先前记录的数据。图像数据可以检测特征(例如,基于 后摆过程中球杆的速度、加速度、和/或位置),且作为结果,不同的音调 (或音调的频率)可以被传输以提供节奏的指示。不同的运动员可以具有 不同的最佳摆动节奏。从而,提供普通的节奏来模仿可能无助于运动员。 在这个方面,单个高尔夫球手可以甚至对于不同球杆具有不同的最佳摆动 节奏。例如,高尔夫球手可以对1号木或其他木杆具有各最佳摆动节奏, 对于长铁杆具有另一种最佳摆动节奏,对于短铁杆具有另一种最佳摆动节 奏,且对于果岭具有另一种最佳摆动节奏。但是,对于高尔夫球手而言, 确定他的/她的最佳摆动节奏可能是困难的,并且另外对于高尔夫球手而 言,在练习和/或比赛过程中保持最佳摆动节奏会是困难的。

并非试图将每个运动员适合到通用方法(one-size-fits-allapproach),至 少部分基于运动员自身表现的图像数据提供实时反馈使得运动员更容易提 高。例如,在某些实施方式中,在基于第一特征的检测实时传输第一音频 反馈信号(或任何其他类型的反馈信号)之后,基于第二特征的动作特性 的第二音频反馈信号可以被传输,使得运动员在运动动作的执行期间接收 到音频反馈,该音频反馈被构造成提供在运动员的运动活动的第一和第二 特征的表现方面的可听见的节奏反馈。

在这个方面,示例性实施方式构想到通过视频或图像序列捕捉与活动 相关联的动作(例如,构成动作和/或其一个或多个分量),以获得图像数 据、分析图像数据,该被分析的数据被输入到方程,该方程将被分析的数 据转变成提供给用户的反馈。该反馈被引导以使用户能够挖掘(groove)活动 中的他们的动作,例如,挖掘他们的自身摆动。“挖掘”涉及用户通常既不 寻求复制另一参与者(例如,职业运动员)的动作(例如摆动),也不必要 寻求实现一些理论上的或理想的动作(例如,这种理想动作的确不是这样 的用户生理上可达到的)。而是,用户正寻求其自身固有的动作(例如摆 动)并使其内在化,包括实现被挖掘的动作的一致重复。被挖掘的动作可 以是时限性的,即,可应用于用户的当前情形。

本领域技术人员将理解到反馈信号可以通过电、机械或电动机械装置 来传输。在一个实施方式中,包括存储计算机可执行指令的存储器以及与 存储器连通的处理器的电子装置,如关于图1-4所描述的装置,可以被利 用。处理器可以被构造成执行非瞬态计算机可读介质上的计算机可执行指 令,以执行多个行动。该装置(例如,处理器)可以接收特定反馈信号或 多个信号(例如,由于数据被分析的多个音频信号)的输入,并识别用于 反馈信号的音频音调或文件。从而,在某些实施方式中,多个音调呈现出 与运动员动作的节奏相关的节奏。从而,某些方面涉及用于提供反馈信号 的节奏指示装置。节奏指示装置可以包括用于接收信息以输出的输入部、 被构造成发出一个或多个不同类型的反馈信号的输出部。

在一个实施方式中,节奏指示装置可以是被构造成以用户可识别的格 式向用户发出一系列规则的、韵律节奏,也称为韵律。例如,用于传输韵 律的格式可以包括:音频的、视觉的和或触觉的,如振动或脉冲触觉装 置、闪烁、改变颜色等的光学装置(例如,LED或其他灯)、发出如滴答 声、嘟嘟声等的韵律声音、音乐或可以包含韵律特性的其他音频效果的音 频装置。节奏指示装置可以被调节和/或被控制以改变向用户发出的韵律的 节奏(即,节奏频率),如基于检测到的运动员数据。作为一个示例,第一 音频反馈信号可以是在第一频率处的第一可听见音调,而系统和方法可以 被采用以通过将可听见的音调调制到第二频率来产生第二音频反馈信号。

本发明的进一步方面涉及基于检测到的运动员数据(例如,见816) 提供关于事件的正确或最佳定时的反馈。例如,一个或多个上述系统和方 法可以用于识别运动员的活动的各方面。利用高尔夫球摆动作为示例,图 像处理方法(单独或者与来自基于非图像的传感器的数据相组合)可以用 于检测运动员的后摆和/或向前摆动的定时和/或节奏。在这个方面,示例性 实施方式构想到在活动期间捕捉构成和/或分量(例如,高尔夫球摆动)、 来自可穿戴传感器的数据,如在传感器合并中采用的数据(例如,提供协 作的特征/功能性),以提高被获取的数据(例如,图像数据)的分析,并 继而增强对用户的反馈(例如,通过更准确的或更有益的音频反馈)。

反馈系统可以被实施以向运动员提供反馈信号,如上所述,如指示高 尔夫球摆动的节奏。但是,在另外的实施方式中,基于检测到后摆或向前 摆动的一个或多个特征,额外的反馈信号可以在预定时间被传输,其构造 成向运动员指示执行运动表现的额外特征的正确定时,如与球形成接触。 另外的“最佳定时”反馈信号的传输和/或属性可以基于动作的一个或多个特 征的发生。在某些实施方式中,后摆的特征可以被利用以确定何时(或甚 至是否)传输额外特征(例如,与球形成接触)的额外反射信号。从而, 运动员可以接收反馈,如表示他们的后摆和他们的向前摆动的各种可听见 的音调,并且除了向前摆动的节奏,额外的反馈信号可以基于检测的后摆 的特性,及时标记最佳点的定时,以与球形成接触。但是,其他实施方式 可以利用与来自不同动作(例如,后摆和向前摆动)的多个特征相关的数 据。从而,某些实施方式可以不仅提供用户的当前运动动作的反馈,而且 鉴于当前运动动作基于正确和/或准确定时时间反馈。

如在此讨论的,反馈产生系统和方法可以包括音频反馈。在一个示例 中,一个或多个音调可以被指派给与多个摆动特征相关联的输出数据。该 音调可以利用各种方案中的任一种指派。作为示例,可指派的音调可以与 关联于特征的速度、加速度、旋转等中的一个或多个相关联。例如,每个 音调自拍可以仅基于速度、加速度或旋转中的一个。可替代的是,每个音 调指派可以基于这些中的一个或多个,或其他组合。

作为另一示例,多个图像或视频帧中的每一个可以具有多个(指派 的)音调单元。于是,如果在这种图像或帧中检测特征,该特征的音调可 以被用于所有这样的音调单元。音调指派也可以通用地或特定地针对特 征。例如,如果两个特征对于所应用的速度等的组合具有相同的参数,通 用的指派方案可以将相同的音调指派给两个特征,而特定指派方案将第一 音调指派给一个特征,而将第二不同的音调指派给其他特征。

在某些实施方式中,多于一个特征可以在摆动成像的给定图像或帧中 检测。例如,对于第一理论帧,身体旋转动作可以与球杆动作一起被检 测。于是,对于与这种图像或帧关联的反馈,反馈发生器可以将音调指派 给每个这种被检测的摆动参数(例如,一个用于身体动作而一个用于球杆 动作)。如此,相关联的反馈可以是音调的组合。实际上,从帧到帧,被检 测的特征的组合可以变化,使得音调的组合可以变化。

作为另一示例反馈产生系统或方法可以向用户提供音调作为反馈,持 续预定反馈周期。该反馈周期可以各种各样地设置。作为示例,反馈周期 可以对应于其中特征被检测的图像或帧的时间段。在那种情况下,引导可 以为与这种图像或帧相关联的音调单元提供。作为另一示例,反馈周期可 以不仅包括这种图像或帧的时间段,而且包括一些额外的时间段,例如, 随后的相邻引导单元的配置数量(configurednumber)。

根据各种实施方式,在任何反馈周期(不论是否包括这种随后的音调 单元)期间,音调可以从属于音调包。音调包可以包括起音期、衰减期、 持续期和释放期(ADSR包)。音调包也可以包括保持期;例如,如果存在 任何其中未检测到特征的图像或帧(空周期),刚好在该图像或帧之前(或 者具有特征的下一个在先图像或帧)相关联的一个或多个音调可以被保持 为持续期,以便桥接空周期。保持器不应用于初始图像或帧。

根据各种实施方式,音调的组合可以各种各样地实施。例如,多个音 调中的每个音调可以简单地与其他音调组合持续特征的持续时间。在这样 的组合中,每个这种音调在其相应的持续时间内具有给定的振幅,并且总 体振幅是这种音调振幅的和。作为替代,总体振幅可以经历最大值,使得 音调可以被组合使得每个音调对这种总体振幅相等地贡献。作为仍另一替 代,音调可以与在组合音调之间变化的声音调节相组合。作为一个示例, 声音调节可以基于例如响应于相关的摆动分量的(指派)的值的优先性或 其他加权,这种值例如涉及结果。为了说明,最高优先性的音调可以不变 化,而低优先性的音调可以被组合:相对于最高优先性音调的基于优先性 的减小的振幅;或者在调节之后,其谐波含量(在保持其基音或不保持其 基音的情况下);或者在改变到它的ADSR包之后;或者在一个或多个声音 特征方面做出改变之后。

在某些实施方式中,如果与一个图像或帧关联的声音特征不同于随后 的图像或帧的声音特征,那么它们之间的过渡可以被调整,使得从用户的 观点来看,过渡被软化、平顺化或者以其他方式调节,以增强声音的吸引 力。

在某些实施方式中,在与最终检测的特征相关联的图像或帧之后的时 间段,反馈发生器可以提供终止反馈。这种终止反馈可以包括被检测的特 征的最后的图像或帧的音调。作为一个示例,这种终止反馈可以通过施加 和/或延长保持周期(例如,见上面的ADSR包)来实现。这种终止反馈可 以连续通过摆动的任何最终成像(例如,即使在这种最终成像的图像或帧 内没有检测到特征)。这种终止反馈可以在摆动成像之后持续选定的时间。

音调可以各种各样地实施和确定。每个音调可以通过系统确定的基础 谐波和谐波含量来实施。此外,用户可用的音调的领域可以通过声音合成 器技术,包括采样技术来实现。这种合成器技术可以各种各样地实施。作 为一个示例,上述移动应用软件可以与GUI一起包括这种技术,该GUI使 用户能够选择/配置操作,如例如,配置特征、选择(或反选)声音、设定 振幅或改变ADSR和/或保持器参数、采样声音等。关于反馈产生和管理的 这些描述应用与任何在此讨论的反馈。

进一步的方面涉及基于运动员的运动活动在另一物理目标(如,运动 装置)上的效果来向运动员提供反馈。例如,反馈信号可以基于高尔夫球 在与运动员的高尔夫球杆接触之后的飞行轨迹和/或属性来提供。在另一实 施方式中,篮球选手的投篮可以用于向选手提供反馈。在一个实施方式 中,运动员在目标上的效果可以被确定(例如,见方块610)。作为一个示 例,方块610可以利用关于方块604和/或802描述的一个或多个系统,以 处理多个图像,来识别(直接或间接)接触物理目标的第一运动员的图像 数据)。在进一步实施方式中,运动中的目标的图像数据,如在被接触之 后,可以被利用。运动数据可以被利用,即使运动员没有在图像数据之 内。在仍另一实施方式中,非图像传感器数据可以被使用以基于处于运动 的目标或以其他方式被运动员接触的目标来获得运动数据。例如,在一个 实施方式中,棒球可以包括加速度计,该加速度计可以用于确定在被投手 投出和/或被击球手击打之后球的速度、自转、加速度或其他运动参数。来 自加速度计的数据可以单独使用或者与基于图像的数据结合使用。同样, 运动装置,如击球手球棒可以包括至少一个传感器。在这个方面,方块 401的数据的采集和/或分析可以包含在此公开的任何且所有系统和方法, 包括但不限于在图68中描述的那些。在某些实施方式中,作为方块410的 一部分收集和/或分析的数据完全不同于关于执行运动动作的特征的运动员 所收集的数据(例如,方块404)。但,本领域技术人员将理解到在某些实 施方式中,方块410可以用于确定特征或动作是否发生且/或所执行的特征 或动作的属性。在这个方面,某些实施方式可以在方块6-8的实施之前或 期间包含方块610。

在确定运动员在物理目标上的效果(如通过方块610)时,反馈信号 可以被发送到运动员。在一个实施方式中,方块608可以开始(或修改) 以向运动员提供反馈信号。该反馈信号可以是与在先或同时发生的特征或 动作的运动员的表现相关的反馈信号相同的格式和类型。例如,如果音频 信号被用于传递运动员的表现的属性,那么音频信号也可以用于传递来自 与运动员在物理目标上的效果相关的数据(它可以与特征的表现不相关) 的属性的反馈。在一个实施方式中,可听见的音调可以基于高尔夫球手的 摆动的属性调制,而第二可听见的音调可以基于球被球杆击中时的属性来 调制。在一个示例中,“削”球可以形成在第一调制信号中,而“曲线”球可 以形成在第二调制信号的传输中。在某些实施方式中,相对于表面(如地 面)的冲击力、速度、加速度、位置或其他属性可以用于确定那个反馈信 号被使用(和/或反馈信号如何基于一个或多个属性变化)。

本发明的进一步方面涉及基于被捕捉的图像数据和/或从图像数据派生 的数据计算运动员分数。示例性实施方式构想到以图像数据、传感器数据 或摆动结果数据的任何组合分析被捕捉数据,以提供前馈,即,指导。这 种前馈可以通过便携电子装置的GUI,例如应用程序的GUI或者在非瞬态 计算机可读介质上的计算机可执行指令提供,该应用程序或指令例如在装 置,如便携装置112上执行,该便携装置可以是提供摄像机的智能电话。 例如,前馈音频可以被提供。这种前馈可以有益于肌肉记忆训练。而且, 对于通过图像传感器捕捉的摆动或其他构成,针对运动员产生的反馈能够 被存储,以与存储的视频一起重放。这个存储的视频然后可以在后来重 放,包括反复地重放(例如,如果摆动具有特别好的摆动结果数据),这出 于肌肉记忆发育的目的。

在一个实施方式中,运动项目特定的算法可以被利用以确定运动员的 运动项目特定的分数。在一个实施方式中,至少部分从图像数据派生的反 应值以及可选的另一表现属性可以在运动项目特定的评级算法中被使用, 以获得运动员的单向运动分数。分数可以将运动员的表现的属性(如通过 在方块604、804和/或806收集的数据)与结果(如在方块610收集的数 据)相关。例如,高尔夫球手的摆动数据可以与击打高尔夫球的属性相比 较。例如,摆动的特定节奏可以基于运动员在高尔夫球上的效果来评分。 在某些实施方式中,根据他们响应的运动分数,分数可以用于评级运动员 和第二个运动员。在某些实施方式中,训练员、教练或运动员可以仅仅需 要发送执行身体活动的运动员的图像数据(如视频)。系统可以被构造成分 析图像数据(如,通过实施在此描述的过程中的一个或多个)来提供运动 分数。在一个实施方式中,图像数据可以被解析以识别图像数据中表示的 预定身体活动。在进一步实施方式中,系统和方法可以利用表现属性、评 级和/或图像数据以提供训练处方。

身体活动涉及到运动协调。运动协调是利用运动学(如空间方向)和 动力学(力)参数产生的身体动作的组合。运动协调是通过针对参与者的 身体和/或身体部位实现一系列初始定位/取向、初始动作、初始动作的随后 部分以及随后的动作来实现的。运动协调是通过以良好构件的方式实现这 样的顺序来增强,例如,以动作之间的正确定时、有效的动作以及在动作 之间的平稳过渡为特征。运动协调虽然对于身体活动来说大体是基础的, 对于任何特定身体活动的一些构成来说可以具有提高的价值。对于这种构 成,优异的运动协调不仅对于这种元件来说,而且对于身体活动整体来说 传递了优异的表现。作为示例,运动协调可以针对摆动任何运动设备,包 括,例如棒球棒、网球排、冰球杆、曲棍球棒、和各种高尔夫球杆中的任 一种,具有提高的价值。作为进一步的示例,运动协调可以在发起任何运 动设备方面,包括例如投掷棒球、扔橄榄球、投篮球、踢足球、扣排球、 推铅球或者投掷标枪方面具有提高的价值。作为进一步示例,运动协调在 传递、扔或以其他方式执行例如跳水、撑杆跳、翻筋斗、舞旋、回旋踢或 拳击中任一项方面具有提高的价值。在此,要理解的是术语“反馈测试”、 “表现测试”或“测试”或其变型可以指的是与参与者反馈相关的任何测试 (例如,包括对于运动协调的反馈,不论是通用的还是对于一个或多个特 征),如,例如图像的获取(如在此陈述的)、这种成像的分析和/或这种反 馈的产生/提供。在此,在一个示例中,理解为:(i)术语“身体活动”设想涉 及运动协调的任何身体活动,包括但不限于上面提及或在此以其他方式提 到的任何运动和其他活动;(ii)术语“构成”设想任何这种身体活动的任何部 分、局部、元素或其他构成动作或多个动作;以及(iii)虽然在此任何特定 的描述可以参照任何一个构成或任意一个身体活动,但是这种描述仅出于 说明、简化或示例的目的,并且并非将在此的描述限制于这种构成或活 动,使得,例如,术语“摆动”或“正摆动”在此使用,这些术语不仅用于描 述所有摆动类型的构成(与用户摆动或从其摆动的任何设备无关),而且包 括所有非摆动的动作/多个动作,包括且不限于所有前面的非摆动构成。

在示例性实施方式中,构成可以设想分量和活动空间。活动空间证明 与包括其一个或多个构成的身体活动相关联的物理背景,这种物理背景通 常包括测试元素。活动空间可以是各种各样实现的,包括例如一个或多个 测试元素(如,边界、区域、设备等)。部件可以设想例如参与者的身体位 置、参与者的身体取向、一个或多个身体部位的动作或者涉及参与者的其 他行动中的任一项,或它们中的任一项的缺少或基本上缺少;或它们中的 任一项的变化;或者测试元素的状态的变化(例如,设备改变状态,如被 摆动、释放和/或着落),如与活动或一个或多个构成的参与者的表现相关 的。设想参与者的身体位置或取向的分量可以包括对于参与者的身体或身 体部位,两个或多个身体部位之间的相对定位或取向,或者身体或身体部 位相对于一个或多个测试元素的定位或取向或它们的组合。

图9A和9B示出示例性活动空间,该活动空间包括说明性测试元素。 参照图9A,活动空间900说明了示例性测试元素。活动空间900与箭头灵 敏表现测试,该测试可以相对于测试元素各种构成。对于测试元素而言, 活动空间900可以包括区域902、设备906A-F和开始-结束线908(有时在 此由术语“开始-停止线”指代)。区域902可以具有边界904,该边界可以被 限定、划分或以其他方式被参与者观察到/已知(下面,术语“参与者”、“运 动员”、“用户”等可以被采用,并且除非特别用于陈述或暗示其他内容,出 于在此描述的目的,该术语被用于表示个人,针对该个人,构成的成像被 获得)在区域902内,设备906A-F可以定位在规定位置处,该设备由此可 以表示运动员的各个位置,用于在执行测试过程中在方向或活动上的变 化。设备906A-F可以向运动员指示开始-停止线908。在示例中,设备 906A-F包括标记,如锥筒,其以预定形式布置:(i)四个锥筒906A、 906B、906C、906E被定位以形成具有十米边长的方形;(ii)锥筒906F在 锥筒906C和906E之间的线上居中;以及(iii),锥筒906D定位在垂直于锥 筒906C、906F和906E形成的线的线上,在距906F例如五米的距离处, 远离锥筒906A、906B。区域902可以在例如赛场的一部分、场地、公园、 运动场、停车场或充分支持表现测试的运动员的正确表现的任何其他区域 内建立。在这个示例中,区域902被与其是水平的、坚固的、非滑动表面 等,或者至少基本上如此(例如,没有凸脊、升高的障碍物、孔、泥塘、 淤泥、滑的区域等)。在示例性实施方式中,活动空间900可以排除前面中 的一个或多个,包括前面中的所有,或者可以包括前面中的一个或多个与 一个或多个替代的或额外的测试元素相组合。

进一步参照图9A,活动空间900可以包括上面描述的那些之外的各种 测试元素。在示例性实施方式中,测试元素可以包括以下中的一个或多 个:例如,(i)运动员在开始-停止线908上或之后开始(例如,姿势的所 有点在开始-停止线908上或之后,但不会越过;(ii)在任何时候没有锥筒 被触及或以其他方式干涉;(iii)在从开始-停止线908的相应跑步中,锥筒 906F、906E和906D将,以该顺序,在图9A所示的方向上,被绕圈 (round),且每个锥筒不会被跨越;(iv)在从开始-停止线908的相应跑步 中,锥筒906F、906D和906D以该顺序,在所示的方向上被绕圈,且每个 锥筒不会被跨越;(v)在从锥筒906D向开始-结束线908的相应跑步中,跑 步在锥筒906F和906E之间或者在锥筒906F和906C之间,如图9A所 示;(vi)执行预定数量的重复(例如,四次重复,且在每个方向上两次); 和/或(vii)在每次重复之间,采用预定的潜伏期(恢复间隔)(例如,在每 次重复之间最大5分钟,具有或不具有最小恢复周期)。在示例性实施方式 中,测试元素可以排除前述中的任一个或多个,包括前述中的所有,或者 可以包括前述中的任一个或多个与一个或多个替代的或附加的测试元素的 组合。

在各种实现方式中,活动可以设想各种构成,并且每个构成可以设想 在活动空间内执行的各种分量。在一个示例中,其中活动是箭头敏捷锻 炼,构成或分量可以包括如下的一个或多个:例如:(i)运动员采取规定的 初始位置(例如,四点短跑姿势,三点橄榄球姿势,两点跑步选手姿势); (ii)在活动或构成开始之前(例如,1秒或多秒,或这种其他时间,并且在 任何情况下,以支持其目的并且在一些此处描述的示例中,在图像处理过 程中)运动员在姿势上保持不动或基本不动(例如,没有摇晃、前倾或相 反运动)持续规定时间;(iii)运动员的第一动作或明显动作限定了测试开 始(例如,特定身体部位的动作或者多个身体部位的动作,或者多个身体 部位之间的相对动作,或者总体身体动作);(iv)运动员从开始-停止线908 到锥筒906F开始绕圈的时间;(v)在绕圈锥筒906F的同时,两个或多个 身体部位之间的相对定位或取向,或者身体或身体部位相对于锥筒906F和 /或地的定位或取向,或它们的组合(例如,寻求最大量或最小量,或其他 反映分量的统计标记);(vi)运动员从锥筒906F到锥筒906E的时间(例 如,从完成锥筒906F的绕圈到开始锥筒906E的绕圈的时间);(vii)在绕 圈锥筒906E的同时,两个或多个身体部位之间的相对定位或取向,或者身 体或身体部位相对于锥筒906E和/或地的定位或取向,或者它们的组合 (例如寻求最大量或最小量,或反映分量的其他统计标记);(viii)运动员 从锥筒906E到锥筒906D的时间(例如,从完成锥筒906E的绕圈到开始 锥筒906D的绕圈的时间);(ix)在绕圈锥筒906D的同时,在两个或多个 身体部位之间的相对定位或取向,或者身体或身体部位相对于锥筒906D 和/或地的定位或取向,或者它们的组合(例如,规定最大量或最小量,或 者反映分量的其他统计标志);(x)运动员从锥筒906D到开始-停止线908 的时间(例如,从完成锥筒906D的绕圈到到达开始停止线908的时间); 和/或(xi)在运动员已经跨过开始-停止线908时测试完成(例如,这种跨 过可以是在任何身体部位、特定身体部位或整个身体已经与这种线相交, 或者已经在远离锥筒906D方向上完全穿过这种线)。(如上,在测试开始 和测试完成之间的任何中间或介入的点有时在此称为“测试转折点 (milestone)”)。在箭头敏捷锻炼的示例性实施方式中,构成和/或分量可以 排除前述中的任一个或多个,包括前述中的全部,或者可以包括前述中的 一个或多个与一个或多个替代的或额外的构成/分量组合。

对于示例性箭头敏捷锻炼,测试结果(如下所述)可以从自测试开始 (见上面:与运动员表现测试的开始相关联的第一动作)到测试结束(见 上面:跨过开始-停止线908)的总消逝时间做出评估。其他测试结果可以 从其他列出的一项或多项,或者替代的或额外的构成和/或分量,单独地或 相组合地进行评估,或者可以不评估。

进一步参照图9A和9B,活动空间910示出了其他示例性测试元素。 活动空间910与跪姿强力球胸部推出锻炼(kneelingpowerballchestlaunch exercise)相关联,该锻炼可以相对于测试元素各种各样构成。至于测试元 素,活动空间910可以包括区域912、设备916A-E以及起跑线918。设备 916B可以是强力球(例如,健身球,如规定重量的实心球)。设备916A可 以向运动员指示起跑线918。此外,在示例性实施方式中,设备916A可以 包括垫子、地毯或其他表面,它可以是平面的或者对下面的表面是柔性 的,运动员可以跪在其上(例如,舒适地)以执行测试,即,推出强力球 916B。区域912可以具有边界914,该边界在图9A的示例性实施方式中被 示为大体上划界,但是在其他示例性实施方式中,该边界可以或可以不限 定、划界或以其他方式由运动员可观察到/已知。如所示,在区域912之 内,边界大体上由定位在规定位置处的设备916A和916C-E划分,由此设 备指示边界914,在该边界中,可以扔球以执行测试。设备916C-E可以包 括放置在距设备916A和/或起跑线918规定距离处的锥筒(例如,该距离 可以是一个或多个径向距离,使得设备916A、916C和916E描绘一个角 度,该角度可以被设备916A和设备916D之间形成的线中分)。区域912 可以建立在例如庭院、场地、公园、运动场、停车场或充分支持运动员正 确执行表现测试的其他任何区域内。在示例性实施方式中,活动空间910 可以排除前述中的任一个或多个,包括前述中的全部,或者包括前述中的 任一个或多个与一个或多个替代的或额外的测试元素的组合。

继续参照图9A,活动空间910可以包括上述那些之外的各种测试元 件。在示例性实施方式中,测试元件可以包括以下中的一个或多个,例 如:(i)在初始跪姿位置,运动员的膝盖可以在起跑线918上或之后,但不 会越过起跑线918;(ii)如此跪着,运动员的膝盖是平行的,且运动员的脚 足屈(plantarflex),即,远离起跑方向指向,且脚趾与地平齐,绷直或基本 上绷直(例如,脚趾不可以弯曲以提供对地面的额外支反力);(iii)球用双 手抓持,手与球的直径对准,并且定位在球的相对两侧上;(iv)膝盖保持 与地面或膝垫接触,直到至少球释放为止(例如,球的完全释放,使得球 的任一部分都不保持与运动员的身体的任何部分接触);(v)球916B落入 边界914之内;以及(vii)运动员的身体或身体的各部分不可以跨过起跑 线,直到球完全释放为止。在示例性实施方式中,测试元素可以排除前述 中的一项或多项,包括前述中的全部,或者可以包括前述中的任一项或多 项与一个或多个替代或额外的测试元素的组合。

参照图9A和9B,跪姿强力球胸部推出锻炼可以构想在活动空间910 内执行的各种构成和/或分量。例如,该构成或分量可以包括以下中的一项 或多项,例如:(i)运动员采取规定的初始位置(例如,跪姿,后背直立并 面朝向设备916C-E),同时保持手臂(包括球916B)在头部之外和之上; (ii)在测试开始之前(例如,1秒或多秒,或者这种其他时间,并且在任何 情况下,以支持在运动评级中的不动的目的,并在此描述的一些实施方式 中,支持图像处理的目的),在初始跪姿位置的运动员保持不动或基本上不 动(例如,没有摇动或类似动作)持续规定时间,(iii)运动员的第一个动 作或实质性动作(例如,随着臀部向后到达脚跟,球被带到胸部);(v)运 动员的特定身体部位的动作,或者多个身体部位的动作或者多个身体部为 之间的相对动作,或者整体的身体动作,涉及将球朝向释放点向前和向上 平移;(v)运动员通过双手发出球,不借助于一个手臂,不转动任一个手臂 投掷并且不围绕脊柱旋转;(vi)测试开始,极,运动员的球释放;以及(vii) 测试完成,即,球落地,例如,在朝向设备916C-E的方向上距起跑线918 一定距离处的落地点920处。在跪姿强力球胸部推出锻炼的示例性实施方 式中,构成和/或分量可以排除前述中的任一项或多项,包括前述中的全 部,或者可以包括前述中的任一项或多项与一个或多个替代的或额外的构 成/分量相组合。

至于跪姿强力球胸部推出锻炼,测试结果(如下面所描述的)可以例 如作为起跑线918(例如,在设备916C-E的方向上的边缘)到落地点920 (例如,球首先落地的中心店)之间的距离来评估。这种测试结果可以从 球的释放和球落地之间的消逝时间来获得。另外或替代地,这种测试结果 可以通过跟随从释放到落地的飞行时间的计算来获得。其他测试结果可以 从一个或多个其他列出的、或者替代的或另外的构成和/或分量,单独地或 以任何组合地评估,或不这样评估。

与活动空间900和/或910相关联的一些测试元素在图9A中示出,而 其他没有示出。另外的测试元素可以包括周围环境,如例如风速和方向、 地面条件、雨或其他降水、温度、湿度等。一个或多个这些条件的干扰可 以会使测试无效或不会使测试无效。在示例性实施方式中,各条件可以被 采用以注释测试结果。作为另一个示例,各条件可以在表现结果中作为因 素加以考虑,包括例如调节用于比较的测试结果或者修改采用未调节的测 试结果的得分或评级。

在示例性实施方式中,表现测试的运动员的表现被测量和/或以其他方 式转化成代表性数据(在此,这种测量和/或转换有时由术语“测量”及其派 生词来称谓,并且这种代表性数据有时由术语“测试结构”来称谓)。在示例 性实施方式中,测量可以包括带量纲指标,如例如时间(例如,跑步、跳 或者敏捷测试的消逝时间,或者投掷球飞行的消逝时间)、距离(例如,目 标的飞行距离)、角度(例如,方向的改变角度)、和/或位置(例如,一个 身体部位相对于另一个身体部位或者相对于参照物,如地面或障碍物)。在 示例性实施方式中,测量可以包括无量纲指标,如例如计数。这种无量纲 指标可以应用于,例如:(i)重复,例如,在表现测试中构成和/或分量执 行的计数(例如,在固定时间内执行的伏地挺身的总数,无论执行是否正 确);和/或(ii)犯规,例如,在表现测试中错误的计数(例如,其中运动员 将其胸部从地面弹起的伏地挺身的总次数)。

犯规以及相关联的犯规指标可以在表现测试中各种各样的实施。被实 施的“犯规”可以例如与运动员不正确地执行一个或多个分量或构成和/或运 动员的不正确地离开活动空间相关联。作为例子,运动员不正确地执行分 量或构成可以包括:在曳步舞(shuffle)动作(例如,其中正确的曳步舞 设想通过腿/脚反复分开并然后并到一起而不交叉的动作)过程中腿/脚交 叉;在身体部位之间未能达到或超过阈值角度(例如,在前屈深蹲或深蹲 中的膝盖弯曲)和/或摔倒和/或身体控制的其他严重丧失。作为例子,运动 员的不正确离开活动空间可以包括:移动或处于表现测试要在其中执行的 任何区域或边界(例如,在跪姿投球测试中,将球扔到边界914的外侧); 干扰测试元素(例如,在敏捷过程中打翻锥筒);不能与测试元素正确地相 互作用(例如,在触碰锥筒是测试元素时未能触碰锥筒;或者当不触碰锥 筒是测试元素时触碰锥筒;或者不能绕圈锥筒或者停留到锥筒的内侧或外 侧;等);不能遵守测试元素(例如不能保持规定的时间条件,如设定时间 的不动,或者在潜伏期和/或恢复间隔已经届满之后执行重复);和/或不正 确地利用测试元素(例如,在路线标记物上推或拉以作为用于测试的改变 方向的推动力,或者在伏地挺身中使胸部弹离地面作为向上动作的推动 力)。

在示例性实施方式中,犯规和相关联的指标会是有后果的。该后果可 以各种各样地实施,包括,例如:(a)测试结果的不合格(也已知为拒绝) (如响应于例如错误开始、起跑、在跪姿强力球胸部推出锻炼中不最正确 的抓球或在跪姿强力球胸部推出锻炼中摇摆动作,在测试中采取获得不公 平优势的位置;超过预定阈值的犯规;和/或累计犯规计数超过预定阈 值);(b)在通过时间指标测量的测试结构上增加预定时间量,例如,这种 时间量响应于不正确动作所带来的时间利益,有可能与处罚一起增加(例 如,对于每次打翻锥筒0.02秒,其中,对运动员的时间的利益对于每次这 种打翻锥筒预先确定为0.01秒,而其中0.01秒被作为处罚估算的);或者 (c)在通过距离指标测量的测试结果上减去预定距离量,例如,这种距离量 响应于由于不正确动作所带来的利益,有可能与处罚一起。在示例性实施 方式中,所形成的测试结果是来自测量的测试结果,可以经历任何调节 (例如,通过不合格、增加、减少等)。

在示例性实施方式中,仅重大的犯规被检测、测量和处理,如被处 理、或者以其他方式被包括在测试结果中或与测试结果一起上报。在示例 性实施方式中,重大的犯规可以通过忽略测试结果来处理。在示例性实施 方式中,非重大的犯规可以被检测(单独或与重大犯规一起),该检测可以 被处理,例如,用于训练或其他方向,以指导运动员朝向解决这种犯规的 方向,并由此使得测试结果得到提高。

在示例性实施方式中,可以使运动员能够获得图像数据,以旨在提供 参与者反馈,如在此描述的,例如,通过使用一个或多个便携电子装置 924A、924B,该装置支持在此进一步描述的能力,该能力包括但不限于图 像获取能力、尤其是具有获取参数的一系列图像的获取(例如,这种系列 的图像包括视频帧和/或静止图像),以使得充分的图像数据能够用于图像 处理来产生输出,该输出又能够提供例如参与者反馈。在示例性实施方式 总,这种便携电子装置可以包括通用装置,如智能电话(例如,HTCOne X+)或可以是专用装置(例如,特别集成提供根据在此描述的系统和/或方 法的能力)。在示例性实施方式中,每个这种装置的图像获取能力被用于获 取活动的图像,包括一个或多个构成以及其分量。如图9A中所示,便携 电子装置924A/924B可以与相应的活动空间900、910相关联地由运动员或 为运动员布置。如此布置后,便携电子装置924A/924B可以被允许获得运 动员进行的活动的图像。

装置924可以布置成使得这种图像获取能够以各种方式,包括例如通 过安装件或通过手持的方式实现。如图9A所示,运动员可以布置便携电 子装置924B使得它被第二个人(例如,朋友、队友或也自己指导他们自身 表现测试的另一运动员等)来握持。也如图9A中所示,运动员可以通过 三脚架926上的安装件来布置便携装置924A,由此,安装件使装置的用于 图像获取的视场934A能够被指向以覆盖相应的表现测试。可替代的,在 这种图像获取被实现的情况下,运动员可以通过其他安装件或其他固定装 置(在此共同由术语“安装件”及其派生词来称谓)来以其他方式布置装置 924,所述安装件或其他固定装置例如为:(i)直接放置在草地或地面上 (例如,如果活动空间是室外场地,如运动场);(ii)直接放置在场地上 (例如,如果活动空间是篮球、排球或其他室内场地);(iii)插入袋兜;或 (iv)安装在与活动空间相关联定位的物品上(例如,树、篮球框立柱、橄 榄球门柱、灯柱、墙等)。可替代的是,另一个人928(可以是训练员、教 练员、朋友、同事或其他人)可以握持和/或操作便携装置924。

在这些布置中,装置924可以被提供或多或少的稳定性。当通过三脚 架926布置时,装置924典型地被提供有显著稳定性。当通过三脚架926 之外的安装件布置时,装置924典型地也被提供有一定程度的增强的稳定 性,至少与手持布置相比。相反,当在手持布置中,与安装件布置相比, 装置924可以被提供较小稳定性或不一致的稳定性。在例如通过三脚架 926稳定地布置时,在表现测试的图像获取期间,装置924趋于不移动, 或者基本上不移动。该稳定布置典型地使得图像获取能够在没有或不明显 的影响下获得图像及相关联的图像数据。不太稳定的布置-或提供低于最小 阈值(例如在环境条件下)的稳定性的布置-趋于使所获取的图像和相关联 的图像数据经受并非不明显的影响。这种影响可以包括例如成像中的目标 的异常活动。作为示例,装置的物理移动可以导致在图像中目标似乎具有 运动,尽管目标的相对应物理物品在图像获取期间是静止的。作为另一示 例,如果目标的相对应物理物品在图像获取期间要实际上移动,目标可能 呈现出比相对应的物品的实际物理移动更大或更小的运动。在装置的物理 移动的异常运动(例如,装置的成像获取能力的物理移动、尤其是成像芯 片)的情况下,图像的所有目标受到影响。于是,在示例性实施方式中, 系统和方法构想到采用用于检测、估计和否则解决这种异常运动的图像处 理技术,该技术可以被选择,不仅用于这种该解决目的的能力,而且用于 与针对表现测试的基于图像的测量兼容,如在此构想的,并由此支持参与 者反馈的提供。

如先前参照图9A描述的,便携电子装置924A、924B可以布置成使 得装置可以实现针对表现测试获取图像。在示例性实施方式中,在获取图 像过程中,便携电子装置不仅布置成大体实现图像获取,而且定位成提供 正确的图像获取(即,使图像处理技术能够产生输出的图像获取,该输出 使得基于图像的测量能够用于表现测试)。这种定位可以对应于各种因素, 包括:例如(i)可应用的测试活动空间(例如,物理尺寸),和(ii)图像的成 像镜头的焦距、光圈和质量,以及可应用于成像的格式/分辨率。通常,镜 头的焦距是装置的视场934A、934B的指示(即与视场成反比),而焦距/光 圈是景深的指示。成像的格式/分辨率是图像数据量的指示。

作为参照图9A的示例,便携电子装置924A可以定位成使得装置的视 场934A能够随着运动员进行箭头敏捷锻炼而获得运动员的图像。在这样 的定位中,视场934A覆盖整个活动空间900,以能够成像在整个测试中所 有运动员的活动。但是,为了在视场934A内覆盖该整体,装置924可以定 位在距活动空间900一定距离处,该距离使得活动空间900朝向或甚至有 效地处于成像的背景930中。同样,装置924可以定位在使得活动空间 900部分处于成像的背景930中且部分处于成像的前景932中的距离。在 任一种情况下,一个或多个目标(如,对应于运动员的目标)可被不充分 成像,使得获得不足够的图像数据可用于图像处理技术以产生实现针对构 成和/或分量的基于图像的测量的输出,并从而支持参与者反馈的提供。在 示例性实施方式中,系统和方法设想到采用用于检测不正确定位的图像处 理技术,包括例如通知运动员重新定位。

如图9A中所示,便携电子装置924A、924B可以正确地定位无论视 场934A、934B是否覆盖整个表现测试。作为示例,如图9A所示,装置 924A可以被正确定位,并使其视场934A覆盖用于箭头灵敏表现测试的整 个活动空间900。但是,如此定位的装置924A使其视场934A没有覆盖图 9A中所示的整个活动空间910,该空间910与跪姿强力球胸部推出表现测 试相关联。对于没有被视场934A覆盖的活动空间910的至少一部分,第二 便携电子装置924B可以被采用,以便通过其视场934B提供跪姿强力球胸 部推出表现测试的整个覆盖。于是,在示例性实施方式中,系统和方法可 以构想到采用通信/控制技术和/或图像处理技术,以各种各样地协调多个便 携电子装置924(例如,标定、快门同步和/或偏置),并且在这种装置的多 个序列的所获取图像之间处理(例如,拼接处理)。

在示例性实施方式中,便携电子装置924A、924B包括图像获取能 力。在示例性实施方式中,便携电子装置924A、924B不仅包括图像获取 能力,而且包括其他能力,该其他能力包括例如以下能力中的一个或多 个:(i)处理能力;(ii)通信能力(例如,支持无线通信,用于在便携电子 装置924之间以及与其他传感器、电子装置或计算机装置通信/控制);(iii) 网络能力(例如,用于在任一个或多个网络内通信,如身体区域网络 (BAN)、个人区域网络(PAN)、局域网(LAN)和广域网(WAN));(iv) 数据获取能力(例如,通过装置924内部或外部的一个或多个传感器,如 一个或多个加速度计、陀螺仪、罗盘、其他磁力计、气压计、其他压力传 感器、温度计、其他温度传感器、麦克风、其他声音传感器(例如,超声 传感器)、红外(IR)传感器和/或其他电磁辐射传感器);(v)输入/控制能 力(例如,包括通过物理按钮、通过触摸屏实现的逻辑按钮、声音输入控 制和/或其他输入控制);(vi)输出/通知能力(例如,通过LED灯、显示 器、触敏显示器、扬声器、其他音频变换器);和/或位置检测能力(例 如,用于识别相对于其他装置924的位置,或相对于传感器、设备或装 置,或相对于测试元件或活动空间,如通过GPS、AGPS信号分析,信号 强度测量,或者其他技术,包括通过从传感器、变换器或其他电子装置获 得的数据,该传感器、变换器或其他电子装置嵌入设备、衣服、鞋和/或饰 品中,和/或在其他装置924中,包括相组合地和/或与其他装置924相组 合)。

在包括处理能力的示例性实施方式中,这种处理能力可以被实施以执 行或导致执行一组或多组软件指令,包括例如移动软件应用和/或嵌入应 用,和/或操作系统。执行一个或多个这种软件指令组的这种处理能力可以 被实施,以整体或部分控制这种图像获取能力(这种软件指令组在此有时 通过术语“图像获取软件”称谓)。这种处理能力和图像获取软件单独地或一 起可以实现以下中的一项或多项,例如:一个或多个序列的图像的获取 (例如,静止图像和/或视频帧的序列,该图像和/或帧的序列在此有时由术 语“图像”或“成像”称谓);每个这种序列的开始和停止的控制(包括例如在 多个装置的成像获取能力之间协调);任何可应用于任何序列的潜能的控制 (例如,在序列之间的延迟和/或用于开始获取的时间偏移,如相对于基准 或在多个装置的图像获取能力之间);获取频率的控制(例如,每单位时间 获取的帧或图像);可应用于成像的分辨率和/或格式的控制(例如,每图 像或帧的总像素,和/或每个图像或帧的线数以及每线的像素数量);所获 取的图像数据的任何前处理的控制(例如,图像噪声减少、对比度控制, 等);和/或其他成像参数的控制或选择。

在包括处理能力的实施方式中,这种处理能力可以被实施,以执行或 导致执行在一个或多个非瞬态计算机可读取介质上的一组或多组计算机可 执行指令,实现一个或多个图像处理技术(在此,这种示例性指令组有时 由术语图像处理软件来称谓)。在示例性实施方式中,这种图像处理软件包 括旨在处理、分析和以其他方式从相对于一个或多个构成和/或分量获取的 一个或多个图像序列提取信息的图像处理技术。在示例性实施方式中,这 种图像处理软件可以实施一个或多个技术,包括例如计算机视觉的各种技 术或与计算机视觉相关的各种技术中的任一种。在示例性实施方式中,这 种图像处理软件可以实施一个或多个图像处理技术,该图像处理技术有时 称为,有时在其他术语中称为:连续帧分析;连续图像分析;图像序列分 析;视频序列分析;stixel运动分析;光流分析;运动矢量分析;帧运动分 析;运动估计;基于特征的运动估计;运动检测;变化检测;帧差分;连 续图像差分;分段;(基于)特征分段;目标分段;颜色分段;强度分段; (基于)运动分段;变化检测分段;特征提取;目标识别;图案识别;图 案匹配;位置估计;背景减除;图像过滤;和全局运动检测/去除(例如, 旨在否认自我运动(negatingego-motion))。要理解的是前述技术列表不是穷 尽的。要理解的是前述技术列表以包括相应种类之间的一个或多个通称和/ 或任一种的分量。要理解的是前述技术列表可以包括用于相同或基本相同 或重叠的技术的一个或多个术语。要理解的是在任何采用的图像处理软件 中,任何第一个这种列出的技术的输出可以是用于这种第一个或一个或多 个第二个列出的技术的输入,并且再次,来自这种第二个列出的技术或多 个技术的输出可以是用于这种第二个列出的技术或这种第一个列出的技术 的输入,成一个或多个迭代/递归/更新的方式。也要理解的是,支持这种技 术的这种软件可以被构造成采用表现测试的现有知识(例如,测试元素 (例如,高尔夫球杆的类型)、)构成、分量、运动员高度和/或其他运动员 特性、与其测试持续时间等),以提高成像序列的获取(例如,通过相对于 活动、构成和/或分量的进行,获取充分早地开始,以及充分晚地终止), 以及如在此描述的成像的分析(例如,提高多个目标之间的分段/检测/运动 估计,包括在目标和子目标之间分阶段,如在第一阶段,针对总体运动, 如运动员的身体的运动分析,而在第二阶段,分析运动员的身体、头、躯 干、手臂、腿、设备等的/之间的特定的或相对的运动)。也要理解的是, 任何图像处理技术通常提供如下的处理:(i)静止图像(单个或作为一些组 或序列);(ii)视频或多个视频(例如,多个视频剪辑、这种剪辑关于表现 测试在它们之间具有已知关系);以及/或(iii)静止图像、视频和/或多个视 频的任何组合。(任何这种处理,如通过任何这种图像处理技术,有时在此 可以由术语“图像术语”来称谓。)

在示例性实施方式中,执行图像处理软件的这种处理能力可以被实 施,以处理或导致处理(例如,通过装置的一个或多个操作系统或嵌入的 软件指令组)相对于一个或多个表现测试获得的一个或多个图像序列,旨 在产生能够提供例如用于一个或多个构成和/或分量的参与者反馈的输出。 在各种示例性实施方式中,执行图像处理软件的处理能力可以被实施以处 理或导致处理(例如通过装置的一个或多个操作系统或嵌入的软件指令 组)相对于一个或多个构成和/或分量获得的一个或多个图像序列,其中这 种处理可以旨在一个或多个以下操作,例如:(i)识别与在此描述的运动员 的选定构成和/或分量相关联的图像;通过成像检测、确认和/或监视测试元 素(例如,确认锥筒布置在正确位置和分隔;确认正确的区域性质;如平 面度和没有障碍物、环境条件等);通过成像识别、检测、确认和/或监视 分量(例如,确认运动员采取规定的初始位置和在初始位置,在测试开始 之前运动员保持不动或基本上不动持续规定时间;确认在测试开始之前、 测试开始时或进行测试期间如通过两个或多个身体部位之间的相对定位或 取向确认运动员形式;在测试开始之前、在测试开始时或在测试进行期 间,确认运动员的身体或特定身体部位相对于测试元件的相对定位或取 向);(iv)检测、测量和处理犯规(例如,检测重大和/或非重大犯规),如 在此描述的;(v)检测、估计和以其他方式解决成像目标的异常运动(例 如,便携电子装置的图像获取能力的物理运动所导致的异常运动);和/或(v) 检测便携电子装置9224A、924B在其图像获取能力相对于构成或分量采用 时的不正确定位。要理解的是,在一些示例性实施方式中,执行图像处理 软件的处理能力可以被实施,以排出前述操作中的任一项或多项,包括前 述操作中的全部,或可以包括前述操作中的任一项或多项与一项或多项替 代的或另外的操作的组合。

在包括处理能力的实施方式中,这种处理能力可以被实施以执行或导 致执行在一个或多个非瞬态计算机可读介质上的一组或多组计算机可执行 指令,实施一个或多个反馈处理技术(这种指令在此有时由术语“反馈处理 软件”称谓)。执行这种反馈处理软件的这种处理能力可以被实施,以从图 像处理软件的输出提供用于一个或多个这种表现测试的测试结果和/或对于 一个或多个构成和/或分量的反馈中的任一者或二者。在示例性实施方式 中,基于检测在表现测试的进行中分别与测试开始和测试完成相关联的图 像的图像处理软件,反馈处理软件可以被实施以识别从测试开始到测试结 束的图像的数量,并基于获得的频率,为这种进行计算测试结果,作为消 逝的时间。在示例性实施方式中,基于检测分别与在表现测试的执行中产 生的测试转折点相关联的图像的图像处理软件,反馈处理软件可以被实施 以识别从测试开始到一个或多个被选择的测试转折点,从任何选择的测试 转折点到任何其他选择的测试转折点,和/或从任一个或多个选择的测试转 折点到测试完成的的图像的数量;并且基于所获得的频率,为这种进行计 算测试结果作为消逝的时间。在示例性实施方式中,基于检测分别与在表 现测试的进行中产生的测试转折点相关联的图像的图像处理软件,反馈处 理软件可以被实施以处理与任何测试转折点相关联的图像或在选择的测试 转折点之间的图像,或者在任何选择的测试转折点和测试开始和/或测试完 成之间的图像,这种图像处理例如旨在识别形成的问题,或者识别提高表 现的机会,或者以其他方式提高表现,如用于指导,无论是自己指导或者 用于来自教练、训练员或其他人的辅助。在示例性实施方式中,基于检测 分别与表现测试的进行中的构成(包括一个或多个其分量)相关联的图 像,反馈处理软件可以被实施,以处理这种图像,例如,旨在提供参与者 反馈,或者旨在识别形成的问题,或识别提高表现的机会,或通过指导 (无论是自己指导还是来自教练、训练员或他人的辅助)来提高表现。这 种图像处理和分析在形式上例如可以旨在识别、确认、评估或以其他方式 分析运动员的身体或身体部位、两个或多个身体部位之间的相对定位或取 向、或身体或身体部位相对于一个或多个测试元素的定位或取向,例如, 在测试转折点、测试开始和/或测试结束中或之间。

要理解的是,在此处描述的一个或多个示例性实施方式中,其采用便 携电子装置924,这种示例性实施方式可以被实施,以额外地或替代地采 用便携电子装置924之外的装置。也要理解的是,对于在此描述的一个或 多个示例性实施方式而言,便携装置924可以通过通用的架构(即,硬 件、软件等,它们旨在支持与在此描述的图像指向的操作不同的操作、除 图像指向的操作之外的操作或潜在地在没有图像指向的操作的情况下的操 作),或者通过专用架构(即,旨在仅支持在此描述的操作的硬件、软件 等),或者通过另外的方法,使得装置能够借助于一个或多个其他装置的组 合来实现在此描述的操作。也要理解的是,对于在此描述处理的一个或多 个示例性实施方式而言,这种处理可以各种各样地执行,包括例如:(i)通 过编写电子装置924(例如,通过这种装置的内部处理能力);(ii)在便携 处理之间924之间(例如,通过通信和/或网络能力);(iii)在一个或多个 便携电子装置924与一个或多个任何这种装置924外部的处理能力相组合 之间;(iv)通过任何这种装置924外部的处理能力(例如,与一个或多个 传感器相关联地提供的处理能力,或者借助于装置924之外的运动员的装 置,或者通过一个或多个远程处理中心,或者通过云服务),其中的任一个 或多个可以通过尤其是运动员的BAN、PAN、LAN或WAN来访问;或(iv) 在任何时间和随着时间,通过这些中的任一个或在这些的任意组合之间 (例如,在尤其是处理容量、时间约束、竞争处理约束/优先级、动力/能量 要求/能力、处理动力等方面做出裁决以及另外响应于上述各项)。

参照图10,示出用于通过成像产生反馈和/或测试结果的示例性方法 1000。在步骤1002,标记“开始”,方法可以被初始化。作为一个示例,方 法可以例如通过运动员选择进行表现测试而初始化。作为另一示例,方法 可以迭代地开始,例如包括:(i)如果运动员选择串行地进行动力表现测试 (batteryofperformancetest);(ii)对于任何表现测试,测试的多个迭代被规 定;(iii)从在任何表现测试进行过程中获得的图像,图像处理检测犯规或 否定测试和促使开始新的测试的其他情况;和/或(iv)检测不正确的条件 (例如,在冲刺表现测试被期望时的顺风),以促使开始新的测试。在示例 性实施方式中,运动员可以在采用任何装置924或其他装置的情况下或在 不采用任何装置924或其他装置的情况下做出这种选择。即,运动员可以 通过承诺进行表现测试而做出如此选择。

在步骤1004,可以识别表现测试。在示例性实施方式中,运动员可以 在没有任何装置的辅助下识别表现测试。在其他示例性实施方式中,运动 员可以采用便携电子装置924(例如,具有显示器并执行非瞬态计算机可 读介质上的计算机可执行指令(例如,移动软件应用程序)),由此识别可 以通过图形用户界面进行。这种图形用户界面可以采用各种界面措施中的 任一种(例如,菜单)来支持识别,作为例子包括显示所支持的测试以使 运动员能够在它们中做出选择,显示测试(通过运动项目、活动、构成和/ 或分量),显示测试作为套系(battery)(通过运动项目、活动、构成和/或分 量),显示系列测试中的当前测试以引导运动员(例如通过一套系测试), 显示运动员先前已经进行或在进行中表现出兴趣的测试,等。在示例性实 施方式中,在这个步骤1004,运动员可以拒绝、选择或确认活动、构成和/ 或部件。

在步骤1006,可以设定活动空间。在示例性实施方式中,运动员(单 独地或具有辅助)可以物理地建立、展开、获得或以其他方式设定活动空 间,包括测试区域、边界、设备或其他固定测试元素中的任一个或多个。 在示例性实施方式中,运动员可以被允许通过使用多个装置924、或通过 与相关联的机构组合使用装置924或者通过采用相关联的机构这样做,该 机构可以在本质上是固有的或并非如此。电子机构可以包括或支持搜索和 定向能力,包括通过罗盘、信号强度、激光测距或其他设施。非电子机构 可以通过具有限定的尺寸或标记包括或支持搜索和定向能力。置于电子机 构和/或多个装置924的使用,装置924和电子机构可以协调以通过它们之 间的信号强度计量或其他搜索来确定距离并例如通过罗盘来确定取向。置 于非电子机构的使用,装置924可以通过成像,即,在候选位置处的成像 的非电子机构的尺寸与实际非电子机构的尺寸的比率来确定距离和取向, 所述获选位置例如通过装置的罗盘来定向。

在步骤1008,便携电子装置1024被布置/定位成用于图像获取。如在 此所描述的,这种装置可以通过多个安装件或通过手持(例如,通过运动 员选择的个人)来布置。在这个步骤中,这种装置可以与活动空间的区域/ 边界相关联地定位。这种定位可以是初步的,在于该定位可以被调节以改 善图像获取(例如,朝向将活动空间定位在成像前景1032内来调节,如在 此描述的,包括相对于下面的步骤1012来调节)。

在步骤1010,置于采用执行或导致执行一组或多组软件指令的便携电 子装置的示例性实施方式,一个或多个这种指令组可以被起动。在示例性 实施方式中,这种指令组旨在支持参与者反馈,如在此描述的。在示例性 实施方式中,在步骤1010,起动可以被指向一个或多个图像获取软件、图 像处理软件和/或反馈处理软件,单独地或相组合地,包括与一个或多个例 如其他移动软件应用程序、和/或嵌入的应用成像、和/或操作系统相组合。 在示例性实施方式中,这种图像获取软件、图像处理软件和/或反馈处理软 件可以被继承(例如,作为反馈处理app)。

在步骤1010,作为采用便携电子装置1024的示例性实施方式,这种 起动可以各种各样地提供。在示例性实施方式中,其中装置1024通过通用 架构(例如,如智能电话)来实现,起动可以例如通过运动员(或助理) 触碰触摸屏显示器上的图标来提供,该图标表示可应用的软件。在其中装 置1024通过专用架构来实现的示例性实施方式中,该起动例如在运动员 (或助理)给装置上电时提供。在任一种情况下,如果在步骤1004,运动 员通过装置1024识别测试,通过步骤1010的起动可以被省略,如在此描 述的。

在步骤1012,为图像获取将视场设定为活动空间。在其中图像获取能 力通过便携电子装置1024提供的示例性实施方式中,运动员可以布置/定 位便携装置1024,由此视场1034被指向为覆盖与相应的表现测试相关联 的活动空间中的一些或全部,如在此描述的。

在如此布置/定位的装置1024中,对于视场而言,然而装置1024可以 被布置/定位在距活动空间1000一定距离处,该距离足够大以冒着一个或 多个被成像目标(例如,对应于运动员的成像序列的目标)不充分被成像 以用于正确图像处理的风险。其他定位、布置或其他物理安排问题(staging issues)也有可能产生,包括例如:(i)引入照明问题的定位(例如,太阳或 其他亮光、或者阴影或其他低光、或者可以阻碍正确图像获得的其他照 明);(ii)定位成充分靠近活动空间或在活动空间内以出现一个或多个被成 像目标根本未获取或未完整获取的风险(例如,虽然追求运动员的膝盖的 方向,但接近定位会导致成像省略掉对应于运动员的膝盖的目标);(iii)其 中摄像机运动限制或过分高的布置(例如,对于手持成像装置而言,源自 于装置运动的图像运动会显著或过于困难地被移除或以其他方式解决);和 /或(iv)在图像序列中存在涉及过渡或过分混淆的运动的情景(例如,除运 动员之外,其他活动人员在视场中,尤其是在活动空间的前景内,该其他 活动人员为足够多的数量和/或处于足够高的活动水平,以阻碍其中的图像 处理和信赖)。

响应于从定位、布置或以其他方式涉及相对于图像获取物理安排装置 产生的问题,示例性的实施方式在步骤1012可以实施测试前图像处理, 即,旨在以下中的一项或多项:检测任何成像问题;表征该问题;向运动 员通知该问题;建议潜在的解决方案或其他手段来解决该问题;暂停或中 止存在问题的下一步骤,包括直到一些或全部问题被解决或充分解决为 止;迭代这些中的任一项或多项;和/或关闭。如在此描述的,在示例性实 施方式中,装置924可以建议装置的重新定位。

在示例性实施方式中,在步骤1012或在其他测试前步骤中,环境条件 可以被检测、分析(例如,相对于测试元件)和处理,如在此描述的。这 种环境条件可以通过装置914检测,包括通过例如:(i)传感器,不论这种 传感器是装置924内部的或其外部的,如集成到运动员的衣服、鞋或饰品 中,或者设置在运动员的本身BAN、PAN或LAN之内的其他装置中;(ii) 数据源,该数据源基于LAN或WAN(例如,在装置924包括智能电话的 情况下)可以由装置924访问,无论该装置实体是否可以通过蜂窝或Wi-Fi 连接提供当前位置条件,或其他软件可以包括使这种数据能够被获得的特 征/功能。在示例性实施方式中,环境条件可以通过尤其是可能性、排除或 无效测试、或通知在活动空间的设置方面进行改变(例如,重新定位测试 元素使得冲刺可以在风垂直于跑道指向的情况下跑)来分析和处理。

在决定1014,示例性实施方式可以实施获取准备事件测试。在步骤 1014,如果获取准备事件被检测到或已经被检测到,将进行图像获取。如 果这种准备事件没有或还没有检测到,将不进行图像获取。在后者的情况 下,示例性实施方式可以设置成使测试反复进行直到准备事件被检测到。 其他示例性实施方式可以设置成使得测试被反复进行,直到一个或多个被 构造的阈值被满足或被超过,例如,反复的此处、计时器届满(例如,从 起动或其他基准开始)、或其他方式。这种其他示例性实施方式可以设置成 用于:(i)前面步骤中的任一个的反复进行,或前面步骤中的分量的反复进 行(例如,表现测试的识别、或者先前识别的表现测试的确认、或者测试 前图像处理、或者环境条件检测);或(ii)结束操作;或(iii)根据第一阈值 (在决定1016处的T1)进行反复并且根据第二这种阈值(在决定1018处 的T2)重新开始或结束操作。重新开始作为示例可以包括通过装置的输出/ 通知能力(例如,可视的报警信号,如通过LED灯;显示器上的报警屏 闪;由扬声器发声的可听见的报警信号;或这些的组合)通知运动员。可 替代的是,如果在决定1018处阈值大于T2,过程可以终止。

在示例性实施方式中,获取准备事件可以各种各样的实施。作为例 子,准备事件可以实施为,例如:(i)正确完成步骤1004-1012中任一个或 其分量;(ii)正确重新定位以能够进行图像处理;(iii)接合装置1024的规 定的输入/控制能力(例如,按动规定的物理或逻辑按钮,或对声音输入控 制发出规定的声音命令),包括通过由运动员保持的装置924(例如,图1 的装置112);和/或(iv)执行(通过运动员或为了运动员,如通过助理)规 定动作,这种动作经得起通过图像获取或数据获取能力的检测(例如,通 过图像获取能力呈现用于接收的规定身体姿态,或者通过嵌入衣服、鞋和/ 或饰品中的传感器发出规定姿态)。

在步骤1022,可以获取图像。如在此描述的,这种图像可以各种各样 地获得。通常,在示例性实施方式中,图像获取隶属于参数,该参数可以 被构造成以出于在此描述的目的允许、增强、优化图像处理或以他方式为 图像处理设置。在此处描述的示例性实施方式中,图像可以通过一个或多 个装置024获取。作为多个装置924的示例,可以采用两个装置,其中(i) 装置被标定以一起操作(例如,通过已知的标定方法),使得(ii)一个装置 924可以获得与测试开始相关联的图像,且(iii)第二装置924可以获取与 测试完成相关联的图像。作为采用两个装置924的另一示例,两个装置 924可以捕捉测试开始和/或测试完成,由此来自每个装置的图像可以全部 或部分组合,或另外,旨在获得增强的图像处理,并由此,获得增强的初 始图像和/或结束图像的评估(和/或通过快门偏置、增强定时精度),并继 而获得增强的测试结果和/或反馈。

在决定1024,示例性实施方式可以实施“图像保留”事件测试。在决定 1024,如果图像保留事件被检测到或已经被检测到,图像获取操作继续并 且操作进行例如到决定1026。如果这种事件没有或还没有被检测到,图像 获取操作继续,但是示例性实施方式可以实施图像抛弃处理1028。

在示例性实施方式中,图像保留事件可以被实施以在表现测试的即将 到来的测试开始的预期中能够获取图像,而是例如如果测试开始被延迟的 话也提供合理数量的图像的保留(例如,以保持用于相关图像的图像存储 空间)。作为示例,如果图像获取正在进行,但是运动员还没有进入活动空 间,图像保留可能没有价值。作为另一个示例,如果图像获取正在进行, 且运动员已经进入活动空间,但是没有进展到开始进行表现测试,图像保 留可能没有价值。作为另一个示例,如果图像获取正在进行且运动员不仅 已经进入活动空间,而且也朝向开始进行表现测试进展,图像保留会是有 价值的。

图像保留事件可以各种各样地实施。在示例性实施方式中,图像保留 事件可以被实施以成为如下事项或与如下的相关联,例如:运动员接合 (或已经通过助理接合)装置924的规定的输入/控制能力(例如,通过推 动规定的物理或逻辑按钮、或者对于声音输入控制发出规定的声音命 令),包括通过由运动员保持的装置924(例如,图1的便携装置112);(ii) 运动员执行(或已经由助理执行)规定动作,这种动作经得起通过图像获 取或数据获取能力的检测(例如,通过图像获取能力呈现用于接收的规定 身体姿态,或者通过嵌入衣服、鞋和/或饰品中的传感器发出规定姿态); 和/或(iii)运动员在活动空间准备,以进行表现测试,该进行准备可经得起 被图像获取能力检测。根据作为图像保留事件的进行准备,示例性实施方 式可以被实施以通过图像处理检测任何/选择的这种事件。在构造用于这种 检测的图像处理中,要理解的是运动员在活动空间准备,并如此,获取的 图像可以被期望包括对应于运动员的对象,且在多个图像中,例如,随着 序列中的图像不同,至少这种对象可以表现出运动。利用这种理解,如果 例如运动被检测到满足(例如,达到或超过)所选择的图像保留阈值,则 图像保留事件可以被认为已经发生。在这个示例性方法中,这种保留可以 跨过序列中选择数量的连续图像来评估动作,或者可以针对序列中选择数 量的非连续图像应用,或以其他方式。

对于规定动作,示例性实施方式可以被实施,其中这种动作包括一个 或多个分量。作为示例,这种动作可以是初始位置(如此上所述)或者可 以是这种初始位置与在先或随后的运动活动相组合。为了说明,如在此描 述的,箭头敏捷锻炼可以包括各种构成,并且每个构成可以包括各种分 量,使得在作用为或制定规定动作的其他分量中,这种动作可以是如下各 项中的任一个或二者:(i)规定姿态作为初始位置和(ii)在测试开始之前这种 姿态下不动或基本上不动的固定时间段。作为另一说明,如在此描述的, 跪姿强力球胸部推出锻炼可以包括各种构成,并且每个构成可以包括各种 分量,使得在作用为或制定规定动作的其他分量中,这种动作可以是(i)规 定的跪姿姿态作为初始位置和(ii)在测试开始之前在这种姿态下不动或基 本不动的规定时间段中的任一项或二者。

对于其中选择的分量作用为该事件的信号的图像事件保留测试,示例 性实施方式可以朝向检测这种分量的方向实施,并且一旦如此检测到,使 得操作能够进行。在将图像处理为这种检测构造中,要理解的是运动员在 活动空间内准备,并如此,所获得的图像可以被预期包括对应于运动员和/ 或设备的目标,并且至少这种目标可以在图像之间例如在序列中的图像之 间呈现出运动。利用这种理解并采用图像处理,如果例如序列的运动被检 测到接近或通过选择的阈值(例如,在低阈值之下通过,这是由于这种运 动值可能遵从于或关联于与初始位置相关联的规定的不动),图像保留事件 可以被认为已经发生。从上面进一步地,如果,例如,序列中的运动被检 测到不仅接近或通过选择的阈值,而且保持在或接近于或另外处于其附近 的一些范围之内(例如,持续了与在初始位置运动员不动的规定时间段相 关的时间段),则图像保留事件可以被认为已经发生。在这个示例性方法 中,这种检测可以以各种方式实施,包括,例如:跨过序列中选择数量的 连续图像评估运动,或者可以针对序列中选择数量的非连续图像应用,或 者以其他方式。

示例性实施方式可以被实施以通过前述方法的组合来检测图像保留事 件。作为一个示例,图像处理可以在这样的实施方式中被采用以在序列的 运动接近或通过选择的阈值时检测图像保留事件,例如包括具有这样的先 决条件,即:这种运动值由相对更高或更低的运动值领先和/或跟随。

在前述示例性方法中,这种检测可以或可以不被限制成针对与运动员 和/或特定设备相对应的目标的运动的检测(例如,相对运动可以是作为整 体在帧之间的那些)。如此,图像保留事件检测可以通过以相对高水平(例 如,通过帧差分)的图像处理来实施。

在其中图像保留事件未被检测到的情形下,示例性实施方式可以包括 图像抛弃过程,该过程可以各种各样地执行。作为示例,图像抛弃过程可 以(例如,从图像存储器)抛弃图像,例如:(i)抛弃从被配置的步骤获得 的所有图像(例如,该决定1026或先前的步骤,如例如在步骤1014的准 备事件);(ii)抛弃被配置数量的图像(例如,通过多个图像,或针对图像 总数的百分比,且这种数量或百分比通过各种理解、估计或其他因素来确 定,该其他因素包括例如,与作为执行表现测试前序的活动相关联的获取 频率和典型事件周期);或(iii)抛弃计算数量的图像(例如,基于图像存储 器大小、图像获取事件、图像获取频率、图像分辨率、成像器数量、估计 的成像持续时间、安全裕度等)。在示例性实施方式中,图像抛弃过程抛弃 与图像保留事件潜在相关的图像之前的图像。在示例性实施方式中,图像 抛弃过程保护与图像保留事件的检测潜在相关的图像,例如,通过根本不 抛弃,或通过保留在缓冲器,例如持续配置的时间。

从图像保留事件起,操作进行到在决定1026处确认事件测试。如果确 认事件被检测到或已经被检测到,图像获取继续且操作进行到例如决定 1034。如果这种确认事件没有或还没有被检测到,图形获取继续,且操作 进行到待机过程,在决定1030、1032。

在示例性实施方式中,待机过程可以各种各样地执行。示例性待机过 程在图10中通过决定1030和1032描述。在决定1030处,如果确认事件 没有或还没有被检测到,第一时间条件可以被测试,该时间条件可以通过 将计时器与第一时间段阈值(TP1)相比较来实施。在决定1032处,如果 确认事件没有或还没有被检测到,第二时间条件被测试,该时间条件可以 通过将计时器与第二时间段阈值(TP2)相比较来实施。第一和第二时间条 件可以或可以不共享相同的计时器和/或相同的时间段阈值中的任一者或二 者。第一和/第二计时器可以被起动(或重新起动),例如,(i)在图像保留 事件检测时;(ii)在用于表现测试的图像获取开始时;或(iii)在一些其他 事件或通过一些其他配置(例如,触发、线索等)时。第一计时器可以与 前述中的一个同时开始,而第二计时器可以与前述中的同一个或另一个一 起开始。时间段阈值TP1和TP2可以各种各样地配置,包括响应于以下的 一项或多项:可用的图像存储器、图像获取频率、图像分辨率、用于进行 表现测试的预期时间持续期间和/或其他参数/条件。在示例性实施方式中, TP2大于TP1。

在图10所示的示例性待机过程中,在决定1030,如果第一计时器不 能满足(例如达到或超过)第一时间段阈值TP1,操作返回到决定1026的 确认事件。在决定1030,如果第一计时器满足TP1,操作进行到决定 1032。在决定1032,如果第二计时器未能满足(例如达到或超过)第二时 间段阈值TP2,操作进行到:在步骤1028的,图像抛弃过程,并且从图像 抛弃过程,到步骤1022的获取图像过程,并然后到决定1024处的图像保 留事件测试。如此,如果第一计时器满足TP1而第二计时器未满足TP2, 图像可以被抛弃。此外,先前检测的存在的图像保留事件变得无效(即, 如同图像保留事件还未被检测到那样),使得图像保留事件测试被更新。在 决定1032,如果第二计时器满足第二时间段阈值TP2,操作结束。

在示例性实施方式中,确认事件可以被实施,以在迫近的运动员开始 表现测试的预期中能够连续获取图像,同时例如如果这种开始存在延迟, 也提供合理数量的图像的保留(例如,以为相关图像保存图像存储空间)。 在示例性实施方式中,确认事件跟随图像保留事件,该图像保留时间可以 被检测到,如前面描述的,通过旨在检测例如作为执行表现测试的前序的 运动员活动的图像处理。但是,在检测到图像保留事件基础后,运动员可 以开始表现测试或可以不开始表现测试,无论如何或及时的(whetheratall ortimely)。于是,在示例性实施方式中,确认事件可以被实施,以对于操 作,包括对于运动员强制实施一定水平的纪律。

确认事件可以各种各样地实施。在示例性实施方式中,确认事件可以 被实施,以成为如下各项或与如下各项相关联,例如:运动员接合(或已 经通过助理接合)装置924的规定的输入/控制能力(例如,通过推动规定 的物理或逻辑按钮、或者对于声音输入控制发出规定的声音命令),包括通 过可以由运动员保持的装置924(例如,图1的便携装置112);(ii)运动员 执行(或已经由助理执行)规定动作,这种动作经得起通过图像获取或数 据获取能力的检测(例如,通过图像获取能力呈现用于接收的规定身体姿 态,或者通过嵌入衣服、鞋和/或饰品中的传感器发出规定姿态);(iii)运 动员在活动空间内准备以进行表现测试;(iv)运动员开始进行表现测试 (例如,如在此描述的,“测试开始”);和/或(v)这些中的一项或多项的组 合。

在此关于图像处理以检测图像保留时间的描述通知图像处理检测到确 认事件。在图像处理以检测确认事件中,要理解的是不近运动员存在于活 动空间并至少有时移动入活动空间中,而且运动员可以即将开始或已经开 始进行表现测试,例如,测试开始。如此,获取的图像可以被预期包括对 应于运动员的目标,该目标在成像序列的图像中呈现出运动。利用这种理 解,如果例如成像序列中的运动被检测满足选择的确认事件阈值,则确认 事件可以被认为已经发生。在示例性实施方式中,这种确认事件阈值可以 大于图像保留事件阈值,更大的值与可以包括测试开始的检测相一致,而 非初始位置/不动(例如,更大的运动员动作趋于对应于该动作的图像中的 更大的目标运动)。

至于执行规定行动作为确认事件的运动员,示例性实施方式可以被实 施,其中规定行动是一个或多个分量或利用一个或多个分量制定。在示例 性实施方式中,这种行动可以包括例如:“测试开始”、涉及运动员动作的 其他分量;“初始位置”(如前面描述的);或者这些中的一个或多个的组 合。因此在制定这种行动采用任何这样的分量,示例性实施方式可以被实 施以通过图像处理来检测确认事件,包括例如,针对描述图像保留事件的 描述所提到的图像处理。

如果确认事件通过的图像处理的测试开始的检测识别,这种检测实际 上可以识别对应于运动员开始表现测试的成像序列的特定图像(这种特定 图像有时在此称为初始图像)。类似地,这种确认事件检测可以由图像处理 之外的手段实现(例如,通过装置924和/或传感器的图像获取、通信和/或 处理能力或装置924和/或传感器之间的图像获取、通信和/或处理能力), 该检测可以标识特定图像,该特定图像已经在对应于这种检测的时间被获 取。此外,这种确认事件检测可以由这种手段与图像处理检测相组合来实 现。这种特定图像在一些情形下是环绕初始图像的两个图像中的一个(例 如,如果图像数据指示运动员的表现测试的开始发生在图像序列的两个连 续图像个之间),使得初始图像可以通过两个图像的差值来解析。在示例性 实施方式中,这种特定图像被认为是位置标识符,用于朝向对初始图像做 出结论的进一步图像处理,例如,进一步图像处理采用更有力的处理方 法,以便确定初始图像。

在一些示例性实施方式中,如在决定1024中的,图像保留事件测试可 以得益于确认事件测试或可以另外结合到确认事件测试中而被省略,如在 决定1026中的。

从确认事件测试起,操作可以进行到终止事件测试,在决定1034处。 如果终止事件被检测到或已经被检测到,操作可以进行到终止获取图像过 程,在步骤1036。在示例性实施方式中,如果终止事件没有或还没有被检 测到,图像获取继续,并将继续直到终止事件被检测到。在其他示例性实 施方式中,如果终止事件没有或还没有被检测到,操作可以被实施,以进 行到待机过程(未示出)。任何终止事件待机过程可以与决定1030和1032 所示的确认事件待机过程相同或类似地构成。作为一个示例,终止事件待 机过程可以基于最大时间段阈值来实施(例如,测试应完成的时间,这种 时间段由表现测试的现有知识和/或由从已经(正确)进行这种测试的运动 员收集的历史数据的集合(universe)来配置)。在这样的示例中,终止事件待 机过程包括计时器,该计时器与最大时间段阈值相比较,使得如果在计时 器满足阈值时没有终止时间被检测到或已经检测到,则操作进行到步骤 1036的终止获取图像过程。

在示例性实施方式中,终止事件可以被实施以能够中断图像获取,使 得不需要的或不相关的数据不会被获取。在示例性实施方式中,图像获取 可以在运动员完成测试之后终止。

终止事件可以各种各样地执行。在示例性实施方式中,终止事件可以 被实施以成为如下事项或与如下事项相关联,例如:(i)运动员接合(或已 经通过助理接合)装置1024的规定的输入/控制能力(例如,通过推动规 定的物理或逻辑按钮、或者对于声音输入控制发出规定的声音命令),包 括通过可以由运动员保持的装置1024(例如,图1的便携装置112);(ii) 运动员执行(或已经由助理执行)规定动作,这种动作经得起通过图像获 取或数据获取能力的检测(例如,通过图像获取能力呈现用于接收的规定 身体姿态,或者通过嵌入衣服、鞋和/或饰品中的传感器发出规定姿态); (iii)运动员或设备或二者达到或通过互动空间内或相对活动空间(例如相 对于一个或多个测试元素)达到或通过规定位置,如通过从嵌入设备中、 嵌入运动员的衣服、鞋和/或饰品中,或在运动员携带的装置1024中的传 感器获得的数据确定,包括与其组合,且/或与其他装置1024组合且/或与 运动员本地BAN、PAN或LAN内的其他传感器、收发器或其他电子装置 组合,这种位置可以通过包括GPS、AGPS、发信号、信号强度测量等的各 种装置中的任一种来确定;(iv)运动员完成表现测试的进行或另外导致表 现测试的进行的完成,例如通过运动员完成分量、运动员与测试元素的相 互作用(例如,穿过终止线),或被运动员作用的测试元素实现规定状态变 化(例如,运动员扔出的球从飞行过渡到落地),如在此描述的(例如,这 种完成有时在此由术语“测试完成”来称谓,如前面所描述的);(v)运动员 物理地离开活动空间,或保留在活动空间内,但是没有与表现测试相关的 身体活动;和/或(vi)这些中的一项或多项的组合。反映图像处理以检测图 像保留事件和/或确认事件的在此的描述通知图像处理检测终止事件。在检 测终止事件的图像处理中,要理解的是不仅(i)运动员已经存在于或至少有 时已经物理地移动到活动空间内,而且(ii)运动员将完成表现测试的进 行,或者该测试将以其他方式完成(例如,测试完成),并继而运动员在活 动空间内的身体动作可以减少(decline)或结束(例如,至少对于测试而 言)。同样,表现测试的本性是已知的,包括采用的任何设备(包括它的尺 寸、形状、预期位置)、运动员和设备之间的任何相对相互作用(以及测试 中的相对定时)和设备的预期状态变化(例如,包括其移动和在这种移动 中的变化或终止)。如此,所获取的图像可以被预期以包括对应于运动员和 /或设备的目标,该目标中的至少一些将在图像中,例如序列中的不同图像 中呈现运动。利用这个理解,例如,如果目标和目标的运动被检测到,其 对应于与表现测试完成相一致的运动员的运动和/或设备活动,则认为终止 事件已经发生。示例包括可以图像处理可以检测到例如:(i)测试完成(例 如,运动员已经跨过开始-停止线1008,如例如,任何身体部位穿过与物理 地划分这种线1008的锥筒相关的竖直平面,无论这种锥筒定位在这种线上 或远离这种线和/或与其成角度);(ii)旨在从活动空间离开的运动员的活 动,或移动到活动空间的周围和/或在活动空间的周围闲逛,包括运动员的 缺席或基本上缺席(例如,它们中的任一个单独或一起可以指示运动员已 经停止或基本上停止移动和/或测试的进行);(iii)和/或,用于设备的(最 终)状态变化(例如,如关于已知设备的测试所期望的)。

如果终止时间通过图像处理检测到测试完成来识别,这种检测实际上 可以识别图像序列中与表现测试的结束点相对应的特定图像(这种特定图 像在此有时被称为“完成图像”)。类似地,这种终止事件检测可以从图像处 理之外的其他手段实现(例如,通过在装置924和/或传感器的或之间的数 据获取、通信和/或处理能力),该检测可以标识特定图像,这种特定图像 已经在对应于这种检测的时间被获取。此外,这种终止事件检测可以由这 种手段与图像处理检测相组合来产生。在一些情形下,这种特定图像可以 是围绕完成图像(例如,该图像数据表示运动员完成表现测试在图像序列 中两个连续图像之间发生)的两个图像中的一个。在示例性实施方式中, 如在前面相对于初始图像所描述的,这种特定图像可以作为位置标识符来 处理,用于朝向对完成图像做出结论的进一步图像处理,例如,进一步图 像处理采用更请有力的处理方法,以便确定完成图像。

响应于在决定1034处终止事件的决定(或者响应于终止时间待机过 程),操作行进到终止获取图像过程,在步骤1036。在终止获取图像过程 中,图像获取终止。这种终止可以各种各样地执行。在示例性实施方式 中,这种终止可以在检测到终止时间时起效。在其他示例性实施方式中, 这种终止可以在从终止事件的检测到已经过了被配置的时间段(例如,朝 向记录与图像处理相关或可能与图像处理相关的另外的图像)之后起效。 这种配置的时间段可以响应于各种理解、估计或其他因素,该其他因素包 括例如与表现测试相关联的时间段;图像存储器尺寸;图像获取频率;图 像分辨率;成像器的数量;安全裕度等)。

从在步骤1036的图像获取的终止起,操作进行到决定1040,在此对 是否将获取的图像提交到图像处理作出决定。如果在步骤1036的确定没有 如此提交,操作进行到步骤1044,在该步骤,操作可以(i)重新开始,以进 行到进一步表现测试(例如,反复当前的表现测试持续测试的规定反复次 数,或者前进到测试套系中的下一个表现测试,其中当前的表现测试驻 留,或选择新的测试套系或者单个测试);或(ii)结束。如果在步骤1036 的确定要提交给图像处理,操作行进到步骤1040的图像处理,并且从图像 处理到步骤1042的测试结果/反馈处理。

在步骤1040,图像处理可以被执行。在示例性实施方式中,图像处理 可以针对与构成(包括其各种分量)的图像数据实施。在示例性实施方式 中,如在此描述的,图像处理可以被实施以检测与测试开始、测试转折点 和/或测试完成中的一个或多个相关联的图像。如在此描述的,图像处理可 以产生:对应于测试开始的初始图像;对应于测试完成的完成图像;和/或 对应于每个相应测试转折点的转折点图像。如在此描述的,图像处理可以 产生对应于测试开始、测试完成和/或测试转折点中的任一个或多个的多于 一个图像。即,在一些情形下,图像处理可以产生围绕身体事件(physical event)的两个图像,例如,如果图像数据表示身体事件发生在图像序列中的 两个连续图像之间,在该情况下,图像处理可以产生插值图像,即,解析 两个图像的图像。

在示例性实施方式中,图像处理可以迭代地进行。作为一个示例,图 像处理可以被实施,以在所有目标和对应于运动员的目标之间分阶段执 行:(i)在第一阶段,图像处理可以针对与在成像中捕捉的所有或基本上所 有身体动作(例如,整体运动存在于图像序列中的帧之间的图像数据中) 相对应的运动进行分析;以及(ii)在第二阶段,图像处理可以针对与运动 员的身体的整体动作相对应的运动进行分析。作为另一示例,图像处理可 以被实施以在对应于运动员的目标之间分阶段执行:(i)在第一阶段,图像 处理可以针对与运动员身体的整体动作相对应的运动进行分析;以及(ii) 在第二阶段,图像处理可以针对与运动员的头、躯干、手臂、腿等的动作 或相对动作/它们之间的动作或相对动作相对应的运动进行分析。在这些前 述示例的任一个中,对应于运动员的身体、身体部位和身体动作的目标和 运动可以被实施使得这种目标和运动被组合分析,如整体运动或相对运 动,包括相对于对应于测试元素的目标(例如,球杆、球或开始/停止 线)。作为另一示例,图像处理可以被实施,以在对应于运动员的目标以及 对应于一个或多个测试元素的目标(例如,高尔夫球杆和高尔夫球)之间 分阶段执行:(i)在第一阶段,图像处理可以针对与运动员的身体的整体动 作和设备相对应的运动进行分析;(ii)在第二阶段,图像处理可以针对与 运动员的头、躯干、手臂、腿等的动作或相对动作/运动员的头、躯干、手 臂、腿等之间的动作或相对动作相对应的运动,以及一件设备(例如,高 尔夫球杆)如相对于这种运动员身体部位的一个或多个的相对运动进行分 析;以及(iii)在第三阶段,图像处理可以针对与另一件设备的移动/状态变 化(例如,针对高尔夫球的飞行和落地)相对应的运动进行分析,如相对 于再其他测试元素(例如,码数和/或方向指示器))。对于这些方法中的任 一个方法,图像处理可以被实施以解决异常运动,如与装置的图像获取能 力的身体动作相关联的、尤其是装置的成像芯片相关联的异常运动。

在示例性实施方式中,在步骤1040的图像处理可以被实施以在图像获 取过程中开始。在这种实施方式中,这种图像处理可以与其他过程同时执 行或相协调地执行。在这种实施方式中,例如,图像处理可以被用于早期 步骤,如用于在决定1026的确认事件测试,旨在在此处检测初始图像,并 且如用于在决定1034处的终止事件测试,旨在在此处检测完成图像。如在 此描述的,在决定1026的这种确认事件测试和在决定1034的这种终止事 件测试可以将位置标示符图像识别为初始图像和/或终止图像,包括用于进 一步图像处理。在这种情况下,这种进一步的图像处理可以与这种测试同 时开始或跟随这种测试,具有或没有在步骤1036处的图像获取的终止。此 外,这种进一步的图像处理可以采用更强有力的处理方法。

在步骤1040的图像处理可以被实施以承认来自运动员的输入。作为示 例,图像处理可以通过包括与移动应用程序相结合的便携电子装置924来 实施。这种执行这种移动应用程序的装置可以提供用户界面体验,由此运 动员(或助理)接合装置的输入/控制能力(例如,推动规定的物理或逻辑 按钮,或对语音输入控制发出规定声音命令),以提供这种输入。作为示 例,通过这种用户界面体验,运动员可以被接合以浏览与运动员的构成进 行相关联的图像序列的全部或一部分,以例如:(i)识别图像的不相关部 分,例如,前序和/或完成后活动;(ii)将一个或多个候选图像与测试开 始、测试完成和/或测试转折点中的一个或多个相关联(例如,运动员选择 运动员考虑显示与运动员的体现测试的开始或完成或者他的任何测试转折 点相对应的图像;和/或(iii)识别图像中的目标(例如,通过触敏显示器、 运动员可以选择或限定一件设备和/或运动员的身体或选择的身体部位,其 中的任一个或多个识别可以提高在这种目标上进行(found)的图像处理)。旨 在如此接合运动员,用户界面体验可以显示查询、要求、指令、指导或其 他前馈,以指导来自运动员的正确/及时输入。

在示例性实施方式中,步骤1040的图像处理可以产生被输出,该输出 在步骤1042提供给测试结果/反馈过程。这种输出可以包括开始、完成和 转折点图像(例如,用于显示运动员或其他)中的一个或多个。这种输出 也可以包括实现测量,包括在格式和内容上,适于通过步骤1042的测试结 果/反馈过程提供的测量。作为一个示例,这种输出数据可以包括帧数、帧 时间或其他帧寻址,其中任一个可以是绝对的或相对基准的。这种输出数 据也可以与图像获取频率、任何时间偏移(例如,在多个成像器之间的快 门偏移)等一起提供。这种输出数据通过格式和内容例如实现时间差的测 量,该时间差可以是测试结果或者实现测试结果的计算。作为示例,对于 箭头敏捷锻炼,图像处理输出可以包括初始图像、完成图像和以每秒帧的 图像获取频率,其中初始图像被标识为帧#F1、完成图像被标识为帧#F2、 且图像获取频率被标识为FPS,使得测试的消逝时间的测量值为(#F2- #F1)/FPS。在这种情况下,如果#FP1+0,#FP2=3000,且FPS=50fps,则测 量结果是(3000-0)/50=60秒。作为另一示例,对于强力球胸部推出锻 炼,可以提供类似的输出,且测量结果产生捕捉球的飞行的消逝时间,该 消逝时间与球的已知重量以及运动员的已知轮廓(高度,等)一起可以应 用于预定的弹道方程,旨在测量球的飞行的距离。

在某些进一步描述的实施方式中,本发明的各方面涉及获得、存储和/ 或处理与运动员的身体动作相关的运动数据。该动作可以是一个或多个活 动的一部分。任何活动,如在此使用的这种术语,可以包括例如高尔夫 球。构成,如在此使用的这种术语,例如可以包括高尔夫球手的摆动(下 面,有时称为摆动)。高尔夫球手摆动的分量是已知的,它们中的一些在此 描述。在其他示例性活动中,构成也可以是摆动,但是其他相关设备的摆 动。构成是包括一个或多个分量的动作。构成以及每个分量具有物理特 性,包括例如各种速度、加速度、旋转、持续时间等。在示例性实施方式 中,构成(相当于上面公开的特征),例如摆动可以通过一个或多个图像获 取装置(下面,每个这种装置可以被称为摄像机)被捕捉在图像数据中 (例如,序列的图像或视频)。摄像机可以设置在智能电话,如HTCOne X+中。在捕捉摆动过程中,图像数据捕捉用户的身体或身体部位以及设备 (如高尔夫球杆)的运动。身体、身体部位和设备可以作为目标在图像数 据中被捕捉。摆动动作(或/和图像数据中的任何目标)可以作为运动在图 像数据中被捕捉。摆动的分量作为摆动特征在图像数据中被捕捉。例如, 在任何给定时间,多于一个分量可以发生(例如,身体部位动作和球杆移 动),使得多于一个摆动特征可以发生。

活动、动作及其构成,如摆动、其分量和其速度、加速度、旋转的成 像可以参照一个或多个选择的轴线(例如,在图像中,可以提供坐标系统 和/或旋转轴线)和/或基准点。成像也可以各种计时的,包括绝对的(时间 记录法)或相对于图像捕捉装置的快门(例如fps)。

利用高尔夫球摆动作为一个示例,并非所有分量、特征等可以与各种 实施方式的目的相关。分量的相关性可以尤其响应于与摆动结果的关系 (例如,分量中的变化可以对高尔夫球的飞行的距离或精度具有大、中或 小影响);其运动的复杂性(包括速度、加速度、旋转以及它的任何其他特 性);和/或与这种分量/特征的成像或分析相关联的挑战。成像和成像分析 挑战可以涉及例如可用的计算机能力(例如,本地分布式的和机遇时间 的);资源(能量)消耗问题;成像问题(例如,分辨率、fps等)。分狼可 以是相关的,由于这种分量在多个摆动中存在,例如,在与典型用户球袋 中的高尔夫球杆相关联的各种摆动中和/或在不同运动项目的摆动中。如 此,以不相关分量相关联的图像可以不分析。此外,摆动特征可以或可以 不在图像数据序列中毗邻。对于在图像数据序列中的任何选择的摆动特 征,它们可以:与一个或多个其他摆动特征同时(即,出现在完全相同的 图像或视频帧中);与其他重叠(即,出现在一些但非全部图像或视频帧 中);与其他的毗邻(即,选择的特征的最后帧刚好是其他特征的第一帧之 前的帧);或与所有其他特征隔离。所有摆动特征一起可以包括与被捕捉的 摆动成像相关联的所有相关图像数据。

构成的一个或多个分量可以在实现各种实施方式中不相关,或者可以 一直不相关。如此,这些分量可以或者(i)从不是分析的一部分;或者(ii) 不总是分析的一部分(例如,该分量可以在一些情况下相关,如,如果另 一分量不能被成像,作为备份数据源)。相关性可以基于该分量的分析的复 杂性和/或资源需求。相关性可以基于从其分析的递减的收益来确定。相关 性可以基于其他因素,或任何这些因素的组合。至于递减的收益,例如, 在高尔夫球摆动中,用户的躯干旋转(角速度和/或范围)在一个时间可以 是相对重要的(从而,在图像域中分析,包括有可能排除一个或多个其他 分量),并且在另一时间可能是相对不重要的(由此,有可能从现在聚焦于 一个或多个其他分量的分析中排除,包括例如,一个或多个先前排除的分 量)。

分析可以是针对图像数据整体,依摆动特征的或者作为摆动特征数据 的序列。如上所述,图像数据可以与其他数据(如传感器数据和/或摆动结 果数据)相组合地分析或另外响应于该数据来分析。分析输出单独或与其 他输入(例如,其他输入可以是结果数据,用户输入或其他的)一起输入 到反馈发生器功能中。反馈发生器功能可以被设置为一个或多个计算机执 行的指令的一部分,该计算机执行的指令在非瞬态计算机可读取介质上, 包括在此描述的那些,和/或可以设置为服务器(例如,网络服务器或其他 的),或一些组合。反馈发生器产生反馈信号,该反馈信号被提供给用户。 反馈信号可以各种各样地提供,例如包括通过另外的硬件和/或软件功能, 或一个或多个收发器,或组合。示例包括利用HTCOneX+’本身功能,例 如,HTCOneX+’扬声器和/或摄像机LED。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号