解释用户状况的动态社交和传感器数据的近实时分析

摘要

在本发明的第一实施例中，提供一种解释电子设备的用户的状况的方法，包括：收集与用户相关的社交数据；在电子设备上监视一个或多个物理传感器以便收集与用户相关的物理数据；将物理数据和社交数据中的结构化数据映射为内部数据类型；从非结构化社交数据提取特征；标识与特征相关的属性；获得用于已标识的属性的值；通过检查物理数据来解释用户的动作；以及通过将用户的动作与非结构化社交数据的特征和结构化的社交数据的特征的已标识的属性融合来检测用户的状况。

说明书

技术领域

本发明一般涉及电子内容。更具体地，本发明涉及动态社交和传感器数 据的近实时（near real-time）分析以解释用户状况（situation）用于更好地推 荐电子内容。

背景技术

电子内容的数量，特别是在线内容的数量，近年来已经经历蓬勃发展， 这主要由于互联网流行的增长。这种蓬勃发展还使得已经不堪重负的用户更 加沮丧，因为在特定时刻大部分内容和信息与特定用户不相关。比以往更强 烈地，用户渴望的解决方案是当他们需要信息和事物时使他们立即得到他们 需要的信息或他们喜欢的事物。另一方面，商店已经累积了详述顾客的在线 活动的天文数量的数据。普遍承认的是挖掘数据以理解顾客的兴趣和感想可 以实现更好的目标行销和广告。

现有的挖掘技术的主要缺点是他们关于用户的状况的盲目性。在特定时 刻，用户需要什么或喜欢什么以及什么适于向用户建议可能基于用户的状况 而剧烈变化。例如，即使用户可能喜欢好酒，但是当与他在一起的他的朋友 不喜欢酒的时候建议到附近品酒可能不是好主意。在另一示例中，用户可能 喜爱去影院、访问博物馆以及远足，但是这些建议的活动可能在很大程度上 取决于天气、用户心情、以及取决于共享相同兴趣的朋友是否有空。

虽然在任一计算平台上改善推荐都很重要，但是由于小显示区域、低处 理速度和更有限的用户输入，所以对于诸如移动电话的具有小外形因素的设 备特别重要。

可以基于用户的历史兴趣、物理行为、虚拟行为(诸如在线购物模式等 等)推断用户的长期兴趣。然而，确定用户的当前“状况”(在他的或她的当 前活动、位置、情感等等方面）以推断他或她的潜在短期需要将相当有价值。

发明内容

在本发明的第一实施例中，提供一种解释电子设备的用户的状况的方 法，包括：收集与用户相关的社交数据；在电子设备上监视一个或多个物理 传感器以便收集与用户相关的物理数据；将物理数据和社交数据中的结构化 数据映射为内部数据类型；从非结构化社交数据提取特征；标识与特征相关 的属性；获得用于已标识的属性的值；通过检查物理数据来解释用户的动作； 以及通过将用户的动作与非结构化社交数据的特征和结构化的社交数据的 特征的已标识的属性融合来检测用户的状况。

在本发明的第二实施例中，提供一种电子设备，包括：一个或多个物 理传感器；一个或多个物理传感器监视器，被配置为监视所述一个或多个物 理传感器并输出映射为内部数据类型的数据；一个或多个社交数据监视器， 被配置为从电子设备监视社交交互并输出至少非结构化社交数据；特征提取 器，耦接到所述一个或多个社交数据监视器并被配置为从非结构化社交数据 提取特征；语义分析器，耦接到特征提取器并被配置为标识与特征相关的属 性并获得用于已标识的属性的值；传感器融合和提取模块，耦接到所述一个 或多个物理传感器模块并被配置为通过检查物理数据来解释电子设备的用 户的动作；状况检测器，耦接到语义分析器以及传感器熔合和提取模块，并 被配置为通过将用户的动作与非结构化社交数据的特征和结构化社交数据 的特征的已标识的属性融合来检测用户的状况。

在本发明的第三实施例中，提供一种用于解释电子设备的用户的状况的 装置，包括：用于收集与用户相关的社交数据的装置；用于监视电子设备上 的一个或多个物理传感器以便收集与用户相关的物理数据的装置；用于将物 理数据和社交数据中的结构化数据映射为内部数据类型的装置；用于从非结 构化社交数据提取特征的装置；用于标识与特征相关的属性的装置；用于获 得用于已标识的属性的值的装置；用于通过检查物理数据来解释用户的动作 的装置；以及用于通过将用户的动作与非结构化社交数据的特征和结构化社 交数据的特征的已标识的属性融合来检测用户的状况的装置。

在本发明的第四实施例中，提供一种非临时的程序存储装置，该装置可 以用机器读取，该装置有形地具体实现可由机器运行的指令的程序以执行解 释电子设备的用户的状况的方法，包括：收集与用户相关的社交数据；监视 电子设备上的一个或多个物理传感器以便收集与用户相关的物理数据；将物 理数据和社交数据中的结构化数据映射为内部数据类型；从非结构化社交数 据提取特征；标识与特征相关的属性；获得用于已标识的属性的值；通过检 查物理数据来解释用户的动作；以及通过将用户的动作与非结构化社交数据 的特征和结构化的社交数据的特征的已标识的属性融合来检测用户的状况。

附图说明

图1是根据本发明实施例的架构图。

图2是示出根据本发明实施例的示例场景的图。

图3是示出根据本发明实施例的、解释电子设备的用户的状况的方法的 流程图。

具体实施方式

现在将参考对本发明特定实施例的细节，包括通过发明人设想的最佳方 式以用于实现本发明。在附图中示出这些特定实施例的例子。虽然连同这些 特定实施例描述本发明，但是应当理解，不旨在将本发明限于描述的实施例。 相反地，意图涵盖落入如所附权利要求定义的本发明的精神和范围内的替 换、修改和等效物。在下面的描述中，阐述细节以便提供对本发明的彻底的 理解。可以实践本发明而没有一些或全部这些细节。此外，可以不详细描述 公知的特征以避免不必要地模糊本发明。

根据本发明，可以使用各种类型的操作系统、编程语言、计算平台、计 算机程序和/或通用的机器来实现组件、过程步骤和/或数据结构。此外，本 领域普通技术人员将认识到，也可以使用诸如硬连线设备、现场可编程门阵 列(FPGA)、专用集成电路(ASIC)等等之类的较不通用性质的设备，而不脱离 此处公开的本发明构思的范围和精神。本发明还可以有形地具体实现为存储 在诸如存储器件的计算机可读介质上的计算机指令集。

本发明提供一种解决方案，在该方案中近实时地解释用户的状况以便更 好地分析他或她的短期需要。可以按照诸如当前活动、位置、情绪状态、当 日时刻等等之类的多个属性输出用户状况。可以通过对来自多个源的数据进 行融合、提取和分析来实现解释和结果输出。

状况可以定义为一组变量的值，其影响并有时确定用户的偏好、行为和 决定做出。一般说来，可以通过以下类型的变量中的一个或多个来定义状况： (1)定义物理环境(例如，位置、时间、天气、声音、照明等等）的变量；(2) 定义社交环境(例如，用户周围的人、用户处于的聚会地点（venue）的类别) 的变量；(3)定义用户状态(例如，心情、情感、心率、血压、血糖（glucose） 水平)的变量；以及（4）定义用户活动(例如，诸如走、开车、睡眠、舞蹈等 等的物理活动，以及诸如电子邮件、电话呼叫、购物、社交网络、网络冲浪、 观看内容和与内容的交互等等的在线活动）的变量。

不需要使用全部变量来定义状况。大概说来，在定义状况方面重要的变 量将从一个应用领域到另一应用领域发生变化。例如，选择听一曲音乐可以 在很大程度上取决于用户的心情、活动和周围的人，而其他变量根本是次要 或不重要的。什么变量是重要的也可以从一个用户到另一用户发生变化。例 如，对于一个用户，在决定进行什么活动方面，天气可能是一个重要因素， 但对于其他用户却不是。

从其中可以获得数据以便执行此分析的源可能变化。在本发明的一个实 施例中，可以使用在用户的设备上的物理传感器，诸如GPS模块、加速仪、 麦克风、照相机等等。来自这些传感器的数据可以包括原始的数据/读出 （reading）或抽象数据。此数据可以提供有用提示（hint），该提示关于诸 如用户的物理动作模式或活动之类的用户的物理背景以及物理位置。原始的 传感器读出可以解释成为诸如跑、走、运动、晃动等等的更高级别抽象。

在另一实施例中，来自社交应用的数据可以用于提供关于用户的社交背 景的有用提示。这可以包括检查用户的社交圈，该社交圈包括可能最影响用 户的朋友、同事和其他人。这还可以包括检查社交体验，诸如赞同 （endorsement）、评论（review）、不喜欢等等。这还可以包括检查用户的社 交爱好，诸如群、产品、活动等等。这还可以包括基于用户的体验/爱好/活 动来检查用户的生活方式，诸如他们是否活跃（active）、对生态环境友好 （eco-friendly）。

实际上，可以使用包括社交网络站点和个人信息管理应用(诸如联系人、 日历、电子邮件、短信（texting）等等）的、由用户配置的任一社交应用作 为数据源。来自这些应用的数据可以包括内容、发表（post）、更新、通知等 等，但是不局限于此。这种数据中的一些相对静态，诸如联系人和日历项目。 这种数据中的其他是动态的，诸如发表、更新、通知、短信等等。

本发明重点在于通过融合和提取包括多个传感器数据加上社交数据的 动态数据，以及一些静态数据来解释用户的状况。因此可以使用诸如用户活 动、位置、情绪状态、当前时间、用户参与的时机/事件、用户周围的人等等 之类的各种属性来表示用户的状况。

图1是根据本发明实施例的架构图。多个监视器100a、100b、100c、100d、 100e可以用来监视相应数据源102a、102b、102c、102d、102e。监视器不断 地对于来自各个源的新的数据和/或通知进行监听或连接（ping）。当接收到 更新时，任一结构化数据可以映射成为内部定义数据类型。下面的表1定义 根据本发明实施例的一些采样数据类型。可以将任何半结构化或非结构化数 据标记为文本。

数据类型   示例值

事件名称   名称：“Bay到Breakers”

&类型      类型：马拉松，聚会，音乐会

人名&关    名称：“Mary Ann”

系类型     关系：家人，家人，朋友，工作朋友，远足俱                   乐部

地点，类   名称：“Nepenthe”

型&地址    类型:饭店，商店，商场

           地址：Big Sur，CA（加利福尼亚州大苏尔）

活动       走，跑，舞蹈

情感       紧张，激动

文本       “喜欢在San Francisco（旧金山）骑自行车”

表1

特征提取器104从非硬件传感器监视器接收新的数据，诸如来自短信和 社交网络交互的文本数据。然后它从文本提取命名的实体（named entity）和 重要主题（significant topic）。诸如命名的实体提取的自然语言编程技术可以 应用于提取人、地点等等的名称。诸如词频-逆文档频率(term  frequency-inverse document frequency,TF-IDF)的基于频率的度量可以应用于 测量词和短语的重要性并提取重要主题。TF-IDF是反映一个词在集合或全 集方面对文档有多重要的统计量。此外，可以取决于关键字和特征出现的时 间而应用老化(aging)方案以向关键字和特征分配变量权重。

语义分析器106然后可以从特征提取器104接收命名的实体并从监视器 100a-100e接收结构化数据。这种数据可以包括来自特征提取器104的命名 的实体和重要主题以及来自其他源的事件的名称、地点、人、活动等等。当 语义分析器106接收新的数据时，它可以使用图式（schema）或本体 （ontology）来标识与接收数据相关的附加属性。然后语义分析器106还可 以通过诸如实体的搜索引擎或联机数据库之类的一个或多个源来检索用于 每个相关属性的值(如果该值已经不可用)。例如，如果语义分析器106被给 定[事件名称：“U2音乐会”]，则它可以将“名称”、“参加者”、“聚会地点”、 “日期”、“事件类型”等等标识为“事件”的属性并且检索用于那些属性的 每一个的值（例如，地点：“Oakland Arena”、类型：“音乐会”）。

传感器融合和提取模块108从诸如加速仪、GPS模块、麦克风等等之类 的物理传感器的监视器接收原始的传感器读出，并且将传感器读出解释成为 用户的运动，诸如走、节律运动等等。这可以包括应用分类技术，诸如朴素 贝叶斯分类（Bayesian Classification）、支持向量机、隐马尔可夫模型、 决策树等等。

状况分析器110然后从特征提取器104、语义分析器106、传感器融合 和提取模块108以及监视器100a-100e接收数据。这种数据可以包括与相关 属性和结构化数据一起的命名的实体。当状况分析器110接收新的数据时， 它可以一起分析组合的数据并且按照以下属性中的一个或多个来尝试创建 用户的状况的全貌：用户当前参与在其中的事件、用户周围的人、用户的位 置、用户的活动、以及用户的情绪。全部这些属性是实时或至少近实时的， 尝试将立刻得到用户的状况的描绘。

这可以通过应用基于顾客规则的分类技术来获得。可以创建规则，该规 则指定对于需要导出的每个类型的数据哪些数据源和哪种数据序列和属性 应该给予更高权重。使用基于输入数据的源、序列和相对权重的这种规则， 计算对于从多个源接收到的特定数据的最终权重，并且将具有大于设定阈值 (可能由开发者配置)的权重的值考虑为用户的状况的属性。例如，对于“事 件”数据类型，可以指定诸如以下的规则：来自日历项目的“事件”信息和 命名的实体应该被分配更高权重。应当注意，在一些实施例中，不使用基于 顾客规则的分类技术，而是可以使用诸如朴素贝叶斯定理、支持向量机、隐 马尔可夫模型等等之类的分类算法以分析和分类传感器数据以及来自不同 源的社交数据。在那种情况中，第一步将使用文本系统和试用用户来收集或 记录数据，并且使得这种数据可用于训练分类算法。

状况分析器106的输出还可以用于多种应用112，包括广告、自动社交 更新、推荐等等。

应当注意，系统的多个处理组件104-110可以处理新接收到的数据的间 隔是可配置的。例如，状况分析器110可以每30分钟运行从而每30分钟估 计用户的当前状况。

图2是示出根据本发明实施例的示例场景的图。用户200可以利用该用 户正在与朋友远足的信息来更新Facebook^TM（脸谱）页面。Facebook^TM监视 器202可以检测这种改变，并且将此信息传送到状况检测器204。同时，物 理传感器监视器206可以检测提示用户正在行走的物理传感器中的变化（诸 如加速仪和GPS模块指示以3英里/小时运动）。状况检测器204然后能够推 出用户已经与这个朋友远足X分钟数量(从检测到的运动开始)。

图3是示出根据本发明实施例的、解释电子设备的用户的状况的方法的 流程图。在300，收集与用户相关的社交数据。例如，这可以通过监视电子 设备和社交网络站点之间的通信来执行。应当注意，可以直接或间接地监视 这些通信。直接监视可以涉及在通过网络将生成的通信发送到社交网络站点 之前拦截它，或甚至通过在由社交网络站点接收到通信之前在第三方设备中 拦截该通信。直接监视的另一示例包括使用通过网站提供的应用编程接口 (API)对于社交数据进行检索、或监视。间接监视可以涉及从用户已经输入通 知或更新的社交网络应用接收通知，诸如通过使用被插入社交网络应用中仅 仅用于这种目的的钩子（hook）。从而，系统从社交网络应用订制和监听通 知。可替换地，间接通信可以涉及周期性地访问社交网络站点以查看用户已 经提供了什么更新。该监视可以周期性地执行。

在302，监视电子设备上的一个或多个物理传感器以便收集与用户相关 的物理数据。该监视可以周期性地执行。在304，物理数据和社交数据中的 结构化数据被映射到内部数据类型。在306，从非结构化社交数据提取特征。 在308，标识与特征相关的属性。在310，获得用于已标识的属性的值。在 312，通过检查物理数据来检测用户的动作。在314，通过将用户的动作与用 于非结构化社交数据的特征的已标识的属性的值融合来检测用户的状况。这 个检测可以包括将基于顾客规则的过滤和优化技术应用到用户的动作和用 于非结构化社交数据的特征的已标识的属性的值。基于顾客规则的过滤可以 包括指定指示哪些数据源、序列、类型和属性应该被分配更高权重的规则。

处理结束时，用户状况已经被标识。由于这个状况是近实时分析的，因 此该状况然后可以被用于做出推荐或执行可以帮助解决用户的短期需要 (即，用户“立刻”需要什么）的其他动作。

总之，本发明允许利用动态社交数据和更新以便推导出用户的当前状 况。这是实现近实时处理和分析的一种简单和实际的方法。能够在移动设备 上执行处理而不需要云或远程服务器。它是按照当前位置、活动、事件、周 围人和情绪表示在特定时刻用户的状况的唯一的方式。

如本领域普通技术人员将理解地，可以在许多方面实现前述的示例架 构，诸如用于通过处理器运行的程序指令，软件模块、微代码、在计算机可 读介质上的计算机程序产品、逻辑电路、专用集成电路、固件、消费电子设 备等等，并且可以利用无线设备，无线发射器/接收器，和其它部分无线网络。 此外，用于在多个电子显示屏幕上的实施例显示多媒体内容的公开的方法和 系统可以采取全硬件实施例的形式、全软件实施例、或包含软件和硬件元件 两者的实施例。

术语“计算机可读介质”一般被用于指示诸如主存储器、辅助存储器、 可移动存储器、硬盘、闪存、磁盘驱动器存储器、CD-ROM和其它永久存储 器的形式的介质。应当注意，如可以用来描述包含用于操作本发明的多个方 法的可运行的计算机代码的存储装置的程序存储装置不应该解释为涵盖诸 如载波或信号的临时主体。术语程序存储装置和计算机可读介质一般被用于 指示诸如主存储器、辅助存储器、可移动存储盘、硬盘驱动器和其它有形存 储装置或组件的介质。

虽然已经详细描述了本发明的少数实施例，但是应该理解，可以以许多 其他形式实现本发明而不脱离本发明的精神或范围。因此，应该将给出的实 施例考虑为说明性的而不是限制性的，并且本发明不限于此处给定的细节， 而是可以在所附权利要求的范围和等价物之内进行修改。