智能会议的协作方法和会议终端

摘要

本发明实施例提供一种智能会议的协作方法和会议终端。该方法包括：会议终端接收远端设备发送的会议的多媒体信息；会议终端根据所述会议的多媒体信息和预设的多媒体内容，确定所述会议是否需要所述用户参加；会议终端确定所述用户的参会状态；若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状态为缺席状态，则所述会议终端向所述用户发送参会提醒信息；所述参会提醒信息用于提示所述用户参加所述会议。本发明实施例提供的方法，可以准确控制用户入会的时间，使得用户不会错过会议的内容，进而提高了用户的参会效率。

说明书

技术领域

本发明实施例涉及通信技术，尤其涉及一种智能会议的协作方法和会议 终端。

背景技术

对于许多工作忙碌的人来说，经常有同时参加多个会议的需求。但是 一个人同时只能参加一个传统的面对面会议。电话、视频会议系统等的出 现允许用户同时加入多个远程会议，但是一个人很难对多个会议的进度保 持跟踪。在参加某些会议时，往往有较大一部分时间的会议内容和参会人 关系不大，但参会人又必须得参加。参会人大部分时间处于听取别人的发 言内容或者做不相关的事情的状态，参会者真正所关心的会议内容或会议 需要参会人参与的时间较短且比较随机，因此导致参会者浪费了很多时 间。

由于会议涉及到参会人的内容经常只占会议的一小部分集中的时间 段，因此为了能够节省时间，参会者采用分时间段参与的方式参会，但这 种方式下何时入会的时间点也比较难控制，可能上一个议题被延期或提前 导致不能在正确的时间段参会，而错过参会者所关注的会议内容，从而使 得参会者的参会效率不高。

发明内容

本发明实施例提供一种智能会议的协作方法和会议终端，用以解决现有 技术中无法控制参会者的入会时间，导致参会者错过其所关注的会议内容进 而引发参会者参会效率低下的技术问题。

第一方面，本发明实施例提供一种智能会议的协作方法，包括：

会议终端接收远端设备发送的会议的多媒体信息；所述会议的多媒体信 息包括语音信息、图像信息和文本信息中的至少一种；其中，所述会议终端 为已加入所述会议的终端；

所述会议终端根据所述会议的多媒体信息和预设的多媒体内容，确定所 述会议是否需要所述用户参加；其中，所述预设的多媒体内容包括：所述用 户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容的 关联信息和所述用户关注的文本内容中的至少一种；

所述会议终端确定所述用户的参会状态；所述用户的参会状态包括缺席 状态或用户参会冲突状态；

若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状 态为缺席状态，则所述会议终端向所述用户发送参会提醒信息；所述参会提 醒信息用于提示所述用户参加所述会议。

结合第一方面，在第一方面的第一种可能的实施方式中，所述会议终端 根据所述会议的多媒体信息和预设的多媒体内容，确定所述会议是否需要所 述用户参加，包括：

所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内容，确 定所述会议的多媒体信息中是否存在预设的会议信息；所述预设的会议信息 为用于表征需要所述用户参加所述会议的信息；

若所述会议的多媒体信息中存在所述预设的会议信息，则所述会议终端 确定所述会议需要所述用户参加。

结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实 施方式中，所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内 容，确定所述会议的多媒体信息中是否存在预设的会议信息，还包括：

若所述会议终端确定所述会议的多媒体信息中不存在所述预设的会议信 息，则所述会议终端确定所述会议的多媒体信息中是否存在所述用户关注的 第一多媒体信息；

当所述会议的多媒体信息中存在所述第一多媒体信息时，所述会议终端 根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关 注度；所述第一映射关系为所述预设的多媒体内容中的不同内容与用户关注 度的对应关系；

所述会议终端判断所述第一多媒体信息的用户关注度是否大于预设的用 户关注度阈值；若是，则所述会议终端确定所述会议需要所述用户参加；若 否，则所述会议终端确定所述会议不需要所述用户参加。

结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实 施方式中，所述会议终端根据所述会议的多媒体信息和所述预设的多媒体内 容，确定所述会议的多媒体信息中是否存在所述用户关注的第一多媒体信息， 包括：

所述会议终端对所述会议的多媒体信息进行检测识别，获得识别结果， 并将所述识别结果和所述预设的多媒体内容进行特征匹配，获得特征匹配结 果；

所述会议终端判断所述特征匹配结果是否大于预设的匹配阈值；

若是，则所述会议终端确定所述会议的多媒体信息中存在所述第一多媒 体信息；

若否，则所述会议终端确定所述会议的多媒体信息中不存在所述第一多 媒体信息。

结合第一方面至第一方面的第三种可能的实施方式中的任一项，在第一 方面的第四种可能的实施方式中，所述方法还包括：

若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状 态为缺席状态，则所述会议终端确定所述参会提醒信息的形式；其中，所述 参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时 消息形式中的至少一种；

则所述会议终端向所述用户发送参会提醒信息，包括：

所述会议终端根据所述参会提醒信息的形式向所述用户发送所述参会提 醒信息。

结合第一方面至第一方面的第四种可能的实施方式中的任一项，在第一 方面的第五种可能的实施方式中，所述方法还包括：

所述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会 状态确定反馈策略；所述反馈策略用于指示所述会议终端向所述远端设备发 送反馈数据的类型；

所述会议终端根据所述反馈策略向所述远端设备发送所述反馈数据；所 述反馈数据包括：与所述远端设备进行交互的视频内容、与所述远端设备进 行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。

结合第一方面的第五种可能的实施方式，在第一方面的第六种可能的实 施方式中，所述会议终端根据所述会议是否需要所述用户参会以及所述用户 的参会状态确定反馈策略，包括：

若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状 态为缺席状态，则所述会议终端确定的所述反馈策略为向所述远端设备发送 第一反馈数据，所述第一反馈数据用于向所述远端设备指示所述会议终端正 在通知所述用户加入所述会议。

结合第一方面的第五种可能的实施方式，在第一方面的第七种可能的实 施方式中，所述会议终端根据所述会议是否需要所述用户参会以及所述用户 的参会状态确定反馈策略，包括：

若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状 态为缺席状态，则所述会议终端确定的所述反馈策略为向所述远端设备发送 第二反馈数据；所述第二反馈数据用于向所述远端设备示出所述用户预设的 与所述会议相关的会议内容。

结合第一方面的第五种可能的实施方式，在第一方面的第八种可能的实 施方式中，所述会议终端根据所述会议是否需要所述用户参会以及所述用户 的参会状态确定反馈策略，包括：

若所述会议终端确定所述会议不需要所述用户参加，且所述用户的参会 状态为缺席状态，则所述会议终端确定的所述反馈策略为向所述远端设备发 送第三反馈数据；所述第三反馈数据用于向所述远端设备指示所述用户正在 参会。

结合第一方面的第五种可能的实施方式，在第一方面的第九种可能的实 施方式中，所述会议终端根据所述会议是否需要所述用户参会以及所述用户 的参会状态确定反馈策略，包括：

若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状 态为用户参会冲突状态，则所述会议终端确定的所述反馈策略为向所述远端 设备发送第四反馈数据，并记录所述会议当前的会议内容；所述第四反馈数 据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。

结合第一方面的第二种可能的实施方式至第一方面的第九种可能的实施 方式中的任一项，在第一方面的第十种可能的实施方式中，若所述用户关注 的第一多媒体信息包括所述会议中第一参会者的人脸信息，所述预设的多媒 体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信 息；则所述会议终端对所述会议的多媒体信息进行检测识别，获得识别结果， 并将所述识别结果和所述预设的多媒体内容进行特征匹配，获得特征匹配结 果，具体包括：

所述会议终端对所述会议的多媒体信息进行检测，确定参会的参会者在 所述多媒体信息中的人脸位置和人脸大小；

所述会议终端对所述参会者在所述多媒体信息中的人脸位置和人脸大小 进行特征提取，获得所述参会者的人脸特征；

所述会议终端将每个参会者的人脸特征与预设的人脸信息库进行匹配， 确定第一匹配度；

所述会议终端确定所述识别结果为所述人脸信息库中的所述第一匹配度 大于预设的第一阈值的参会者的身份信息；

所述会议终端将所述人脸信息库中的所述第一匹配度大于预设的第一阈 值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信息 匹配，获得所述特征匹配结果。

结合第一方面的第二种可能的实施方式至第一方面的第九种可能的实施 方式中的任一项，在第一方面的第十一种可能的实施方式中，若所述用户关 注的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为所述第 一文本信息，则所述会议终端对所述会议的多媒体信息进行检测识别，获得 识别结果，并将所述识别结果和所述预设的多媒体内容进行特征匹配，获得 特征匹配结果，具体包括：

所述会议终端对所述会议的多媒体信息进行检测，确定文本块区域在所 述会议的多媒体信息中的位置和大小；

所述会议终端根据所述文本块区域在所述会议的多媒体信息中的位置和 大小，获得所述会议的多媒体信息中的文本块；

所述会议终端将所述会议的多媒体信息中的文本块与预设的文本信息库 进行匹配，确定第二匹配度；

所述会议终端确定所述识别结果为所述文本信息库中的所述第二匹配度 大于预设的第二阈值的文本信息；

所述会议终端将所述文本信息库中的所述第二匹配度大于预设的第二阈 值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配，获得所 述特征匹配结果。

结合第一方面的第二种可能的实施方式至第一方面的第九种可能的实施 方式中的任一项，在第一方面的第十二种可能的实施方式中，若所述用户关 注的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为所述第 一文本信息，则所述会议终端对所述会议的多媒体信息进行检测识别，获得 识别结果，并将所述识别结果和所述预设的多媒体内容进行特征匹配，获得 特征匹配结果，具体包括：

所述会议终端对所述会议的多媒体信息进行检测，确定文本块区域在所 述会议的多媒体信息中的位置和大小，获得所述会议的多媒体信息中的文本 块；

所述会议终端根据所述文本块的几何特征确定所述识别结果；

所述会议终端将所述识别结果与所述预设的多媒体内容中的所述第一文 本信息匹配，获得所述特征匹配结果。

结合第一方面的第十一种可能的实施方式或第一方面的第十二种可能的 实施方式，在第一方面的第十三种可能的实施方式中，若所述第一多媒体信 息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述 第一文本信息相关的第一数据信息，则所述会议终端对所述会议的多媒体信 息进行检测识别，获得识别结果，并将所述识别结果和所述预设的多媒体内 容进行特征匹配，获得特征匹配结果，还包括：

所述会议终端对所述会议的多媒体信息进行检测，确定所述会议的多媒 体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息；

所述会议终端根据所述第一文本信息和所述其他数据信息，确定所述其 他数据信息与所述第一文本信息的相关度；

所述会议终端确定所述识别结果为所述其他数据信息中所述相关度大于 预设的第三阈值的数据信息；

所述会议终端将所述其他数据信息中所述相关度大于预设的第三阈值的 数据信息与所述第一数据信息匹配，获得所述特征匹配结果。

结合第一方面的第五种可能的实施方式至第一方面的第十三种可能的实 施方式中的任一项，在第一方面的第十四种可能的实施方式中，所述反馈数 据为所述用户预设的反馈内容，或者，根据所述反馈策略和所述用户预设的 反馈内容生成的数据。

第二方面，本发明实施例提供一种会议终端，包括：

接收模块，用于接收远端设备发送的会议的多媒体信息；所述会议的多 媒体信息包括语音信息、图像信息和文本信息中的至少一种；其中，所述会 议终端为已加入所述会议的终端；

第一确定模块，用于根据所述会议的多媒体信息和预设的多媒体内容， 确定所述会议是否需要所述用户参加；其中，所述预设的多媒体内容包括： 所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像 内容的关联信息和所述用户关注的文本内容中的至少一种；

第二确定模块，用于确定所述用户的参会状态；所述用户的参会状态包 括缺席状态或用户参会冲突状态；

发送模块，用于在所述第一确定模块确定所述会议需要所述用户参加， 且所述第二确定模块确定所述用户的参会状态为缺席状态时，向所述用户发 送参会提醒信息；所述参会提醒信息用于提示所述用户参加所述会议。

结合第二方面，在第二方面的第一种可能的实施方式中，所述第一确定 模块，包括：

第一确定单元，用于根据所述会议的多媒体信息和所述预设的多媒体内 容，确定所述会议的多媒体信息中是否存在预设的会议信息，若所述会议的 多媒体信息中存在所述预设的会议信息时，确定所述会议需要所述用户参加； 所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。

结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实 施方式中，所述第一确定模块，还包括：

第二确定单元，用于在所述第一确定单元确定所述会议的多媒体信息中 不存在所述预设的会议信息时，确定所述会议的多媒体信息中是否存在所述 用户关注的第一多媒体信息，并在确定所述会议的多媒体信息中存在所述用 户关注的第一多媒体信息时，根据所述第一多媒体信息和第一映射关系确定 所述第一多媒体信息的用户关注度；所述第一映射关系为所述预设的多媒体 内容中的不同内容与用户关注度的对应关系；

判断单元，用于判断所述第一多媒体信息的用户关注度是否大于预设的 用户关注度阈值；若是，则确定所述会议需要所述用户参加；若否，则确定 所述会议不需要所述用户参加。

结合第二方面的第二种可能的实施方式，在第二方面的第三种可能的实 施方式中，所述第二确定单元，具体用于对所述会议的多媒体信息进行检测 识别，获得识别结果，并将所述识别结果和所述预设的多媒体内容进行特征 匹配，获得特征匹配结果，并判断所述特征匹配结果是否大于预设的匹配阈 值；若是，则确定所述会议的多媒体信息中存在所述第一多媒体信息；若否， 则确定所述会议的多媒体信息中不存在所述第一多媒体信息。

结合第二方面至第二方面的第三种可能的实施方式中的任一项，在第二 方面的第四种可能的实施方式中，所述会议终端还包括：

第三确定模块，用于在所述第一确定模块确定所述会议需要所述用户参 加，且所述第二确定模块确定所述用户的参会状态为缺席状态时，确定所述 参会提醒信息的形式；其中，所述参会提醒信息的形式包括界面形式、图像 形式、视频形式、音频形式、即时消息形式中的至少一种；

所述发送模块，具体用于根据所述参会提醒信息的形式向所述用户发送 所述参会提醒信息。

结合第二方面至第二方面的第四种可能的实施方式中的任一项，在第二 方面的第五种可能的实施方式中，所述会议终端还包括：第四确定模块；

所述第四确定模块，用于根据所述会议是否需要所述用户参会以及所述 用户的参会状态确定反馈策略；所述反馈策略用于指示所述会议终端向所述 远端设备发送反馈数据的类型；

则所述发送模块，还用于根据所述反馈策略向所述远端设备发送所述反 馈数据；所述反馈数据包括：与所述远端设备进行交互的视频内容、与所述 远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的至 少一种。

结合第二方面的第五种可能的实施方式，在第二方面的第六种可能的实 施方式中，所述第四确定模块，具体用于若所述会议需要所述用户参加，且 所述用户的参会状态为缺席状态，则确定所述反馈策略为向所述远端设备发 送第一反馈数据，所述第一反馈数据用于向所述远端设备指示所述会议终端 正在通知所述用户加入所述会议。

结合第二方面的第五种可能的实施方式，在第二方面的第七种可能的实 施方式中，所述第四确定模块，具体用于若所述会议需要所述用户参加，且 所述用户的参会状态为缺席状态，则确定所述反馈策略为向所述远端设备发 送第二反馈数据；所述第二反馈数据用于向所述远端设备示出所述用户预设 的与所述会议相关的会议内容。

结合第二方面的第五种可能的实施方式，在第二方面的第八种可能的实 施方式中，所述第四确定模块，具体用于若所述会议不需要所述用户参加， 且所述用户的参会状态为缺席状态，则确定所述反馈策略为向所述远端设备 发送第三反馈数据；所述第三反馈数据用于向所述远端设备指示所述用户正 在参会。

结合第二方面的第五种可能的实施方式，在第二方面的第九种可能的实 施方式中，所述第四确定模块，具体用于若所述会议需要所述用户参加，且 所述用户的参会状态为用户参会冲突状态，则确定所述反馈策略为向所述远 端设备发送第四反馈数据，并记录所述会议当前的会议内容；所述第四反馈 数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。

结合第二方面的第二种可能的实施方式至第二方面的第九种可能的实施 方式中的任一项，在第二方面的第十种可能的实施方式中，若所述用户关注 的第一多媒体信息包括所述会议中第一参会者的人脸信息，所述预设的多媒 体内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信 息；则所述第二确定单元，具体包括：

第一检测子单元，用于对所述会议的多媒体信息进行检测，确定参会的 参会者在所述多媒体信息中的人脸位置和人脸大小；

特征提取子单元，用于对所述参会者在所述多媒体信息中的人脸位置和 人脸大小进行特征提取，获得所述参会者的人脸特征；

第一匹配子单元，用于将每个参会者的人脸特征与预设的人脸信息库进 行匹配，确定第一匹配度；

第一确定子单元，用于确定所述识别结果为所述人脸信息库中的所述第 一匹配度大于预设的第一阈值的参会者的身份信息；

第二匹配子单元，用于将所述人脸信息库中的所述第一匹配度大于预设 的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的 身份信息匹配，获得所述特征匹配结果。

结合第二方面的第二种可能的实施方式至第二方面的第九种可能的实施 方式中的任一项，在第二方面的第十一种可能的实施方式中，若所述用户关 注的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为所述第 一文本信息，则所述第二确定单元，具体包括：

第二检测子单元，用于对所述会议的多媒体信息进行检测，确定文本块 区域在所述会议的多媒体信息中的位置和大小；

获取子单元，用于根据所述文本块区域在所述会议的多媒体信息中的位 置和大小，获得所述会议的多媒体信息中的文本块；

第三匹配子单元，用于将所述会议的多媒体信息中的文本块与预设的文 本信息库进行匹配，确定第二匹配度；

第二确定子单元，用于确定所述识别结果为所述文本信息库中的所述第 二匹配度大于预设的第二阈值的文本信息；

第四匹配子单元，用于将所述文本信息库中的所述第二匹配度大于预设 的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹 配，获得所述特征匹配结果。

结合第二方面的第二种可能的实施方式至第二方面的第九种可能的实施 方式中的任一项，在第二方面的第十二种可能的实施方式中，若所述用户关 注的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为所述第 一文本信息，则所述第二确定单元，具体包括：

第三检测子单元，用于对所述会议的多媒体信息进行检测，确定文本块 区域在所述会议的多媒体信息中的位置和大小，获得所述会议的多媒体信息 中的文本块；

第三确定子单元，用于根据所述文本块的几何特征确定所述识别结果；

第五匹配子单元，用于将所述识别结果与所述预设的多媒体内容中的所 述第一文本信息匹配，获得所述特征匹配结果。

结合第二方面的第十一种可能的实施方式或第二方面的第十二种可能的 实施方式，在第二方面的第十三种可能的实施方式中，若所述第一多媒体信 息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述 第一文本信息相关的第一数据信息，则所述第二确定子单元，还包括：

第四检测子单元，用于对所述会议的多媒体信息进行检测，确定所述会 议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息；

第四确定子单元，用于根据所述第一文本信息和所述其他数据信息，确 定所述其他数据信息与所述第一文本信息的相关度；

第五确定子单元，用于确定所述识别结果为所述其他数据信息中所述相 关度大于预设的第三阈值的数据信息；

第六匹配子单元，用于所述其他数据信息中所述相关度大于预设的第三 阈值的数据信息与所述第一数据信息匹配，获得所述特征匹配结果。

结合第二方面的第五种可能的实施方式至第二方面的第十三种可能的实 施方式中的任一项，在第二方面的第十四种可能的实施方式中，所述反馈数 据为所述用户预设的反馈内容，或者，根据所述反馈策略和所述用户预设的 反馈内容生成的数据。

本发明实施例提供的智能会议的协作方法和会议终端，会议终端根据所 接收到的所述会议的多媒体信息和预设的多媒体内容，确定所述会议是否需 要所述用户参加，同时，会议终端确定用户的参会状态；当会议终端确定所 述会议需要所述用户参加，且所述用户的参会状态为缺席状态，则会议终端 向所述用户发送用于提示所述用户参加所述会议的参会提醒信息。本发明实 施例提供的方法，通过会议终端确定当前会议是否需要用户参加，并结合用 户当前的参会状态来确定向用户发送参会提醒信息，从而可以准确控制用户 入会的时间，使得用户不会错过会议的内容，进而提高了用户的参会效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的智能会议协作机器人设备的实现框架示意 图；

图2为本发明实施例提供的智能视频会议协作系统的组网示意图；

图3为本发明实施例提供的智能会议的协作方法实施例一的流程示意 图；

图4为本发明实施例提供的智能会议的协作方法实施例二的流程示意 图；

图5为本发明实施例提供的智能会议的协作方法实施例三的流程示意 图；

图6为本发明实施例提供的智能会议的协作方法实施例四的流程示意 图；

图7为本发明实施例提供的智能会议的协作方法实施例五的流程示意 图；

图8为本发明实施例提供的智能会议的协作方法实施例六的流程示意 图；

图9为本发明实施例提供的智能会议的协作方法实施例七的流程示意 图；

图10为本发明实施例提供的智能会议的协作方法实施例八的流程示意 图；

图11为本发明实施例提供的会议终端实施例一的结构示意图；

图12为本发明实施例提供的会议终端实施例二的结构示意图；

图13为本发明实施例提供的会议终端实施例三的结构示意图；

图14为本发明实施例提供的会议终端实施例四的结构示意图；

图15为本发明实施例提供的会议终端实施例五的结构示意图；

图16为本发明实施例提供的会议终端实施例六的结构示意图；

图17为本发明实施例提供的会议终端实施例七的结构示意图；

图18为本发明实施例提供的会议终端实施例八的结构示意图；

图19为本发明实施例提供的会议终端实施例九的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。

本发明实施例涉及的方法，适用于智能视频会议协作系统，该系统可以 集成在会议终端中，该会议终端可以包括但不限于手机、个人数字助理 (Personal Digital Assistant，PDA)、平板电脑、便携设备(例如，便携 式计算机)或者普通的计算机(PC)等通讯设备，还可以是基于智能视频会 议协作系统的智能会议协作机器人设备，该智能会议协作机器人设备的实现 框架图可以参见图1所示。图1中，最底层为机器人设备的硬件层；硬件层 之上为相关的设备驱动和协议栈，该协议栈可以包括网络协议栈，如无线保 真(WiFi)协议栈或第三代移动通信网络(3G)协议栈、传感器协议栈等， 设备驱动可以GPS驱动等；该设备驱动和协议栈之上为操作系统层；操作系 统的上层为应用层，包括智能会议协作机器人的一些功能模块和智能视频会 议协作系统。本发明实施例对终端的形式并不限定。

由于传统的参会过程中，需要用户全程参加会议，即使会议中只有小部 分内容与用户相关，用户也必须参加整个会议，否则就有可能错过与该用户 相关的那小部分内容，这使得用户的参会效率非常低下。因此，本发明可以 将上述智能视频会议协作系统集成在终端中，当该集成了智能视频会议协作 系统的终端在接收到远端设备发送的连接请求时，其可以代替用户(即本端 的参会者)加入会议，也就是说用户可以安排该集成了智能视频会议协作系 统的终端参加一个或同时参加多个会议，作为该用户在会议中的一个替身。 图2为本发明实施例提供的智能视频会议协作系统的组网图。

传统的会议模式中，由参会者直接进行面对面会议或者使用音视频会议 系统参加会议。在本发明实施例中，上述集成了智能视频会议协作系统的终 端作为一个智能代理代替参会者参加会议。该智能视频会议协作系统可以看 作是一个逻辑实体，其物理实现可以是软件，也可以是硬件设备，还可以作 为一个功能模块部署在终端的会议客户端软件中。上述集成了智能视频会议 协作系统的终端可以与其所代替的参会者通过图形界面、语音、视频等方式 进行交互。

上述智能视频会议协作系统在部署时，可以支持同时和多个语音/视频会 议进行交互，这些语音/视频会议可以由一个或多个基于硬终端或软终端的视 频会议系统创建。基于智能视频会议协作系统的终端可以模拟一个参会方， 能够同时从多个语音/视频会议接收视频、音频和数据信息。例如，智能视频 会议协作系统本身可以实现为会议客户端软件，安装了该智能视频会议协作 系统的终端可以通过网络作为一个参会方接入一个或多个视频会议；又例如， 智能视频会议协作系统可以作为独立的软件和会议客户端软件部署在同一台 计算机上，通过进程间通信机制和会议客户端软件进行通信，获取会议上的 视频、音频和数据等信息。

本发明实施例设计的方法旨在解决现有技术中无法控制参会者的入会时 间，导致参会者错过其所关注的会议内容，参会者参会效率低下的技术问题。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具 体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例 不再赘述。

图3为本发明实施例提供的智能会议的协作方法实施例一的流程示意 图。本发明实施例涉及的方法的执行主体可以为集成了上述智能视频会议协 作系统的终端(下述均简称为会议终端或者本端设备)。如图3所示，该方 法包括：

S101：会议终端接收远端设备发送的会议的多媒体信息；所述会议的多 媒体信息包括语音信息、图像信息和文本信息中的至少一种；其中，所述会 议终端为已加入所述会议的终端。

具体的，当会议终端接收到远端设备发送的会议连接指示后，会议终端 接入该会议，从而使得该会议终端可以作为一个虚拟参会者参与该会议。即， 会议终端可以接收该会议的远端设备通过会议服务器发送的会议的多媒体信 息，该会议的多媒体信息可以包括语音信息、图像信息和文本信息中的至少 一种。可选的，上述图像信息可以是远端设备通过视频的形式传送给会议终 端的，上述图像信息可以为会议中参会者的人脸信息，还可以为会议中涉及 的其他图片的信息(例如，会议中所共享的胶片中涉及的图片)，上述文本 信息可以为会议中所共享的胶片中的文本内容。

S102：会议终端根据所述会议的多媒体信息和预设的多媒体内容，确定 所述会议是否需要所述用户参加；其中，所述预设的多媒体内容包括：所述 用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像内容 的关联信息和所述用户关注的文本内容中的至少一种。

具体的，当上述会议终端接收到会议的多媒体信息后，会议终端根据该 会议的多媒体信息和预设的多媒体内容确定当前的会议是否需要用户参加。 该预设的多媒体内容包括：所述用户关注的语音内容、所述用户关注的图像 内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中的 至少一种。可选的，会议终端根据会议的多媒体信息和预设的多媒体内容确 定当前的会议是否需要用户参加，可以是会议终端确定会议的多媒体信息与 预设的多媒体内容的相关度，根据该相关度的大小来确定当前会议是否需要 用户参加；还可以是会议终端确定上述预设的多媒体内容在会议的多媒体信 息中所占的比例，根据该比例的大小来确定当前会议是否需要用户参加；还 可以是会议终端确定会议的多媒体信息是否存在上述预设的多媒体内容中的 任一种，来确定当前会议是否需要用户参加。总之，本发明实施例只要能够 根据会议的多媒体信息和预设的多媒体内容确定所述会议是否需要用户参加 即可，至于采用哪一种确定方式，本发明实施例对此并不做限定。

可选的，上述用户关注的图像内容的关联信息可以是与用户所关注的图 像内容相关的信息，例如，用户关注的图像内容是人脸图像，则预设的多媒 体内容中包括的用户关注的图像内容的关联信息就可以是与该人脸信息对应 的身份信息。

可选的，上述预设的多媒体内容可以预设在会议终端内部的存储器中， 也可以预设在与会议终端连接的外部设备中，当会议终端获得会议的多媒体 信息后，可以从外部设备中调用预设的多媒体内容进行判断(这样可以减缓 会议终端内部存储器的缓存压力)。

S103：终端确定所述用户的参会状态；所述用户的参会状态包括缺席状 态或用户参会冲突状态。

可选的，会议终端可以根据是否检测到用户说话的声音来确定用户是否 参会，还可以通过摄像机是否能够拍摄到用户的图像来判断用户是否参会或 者判断用户是否处于会议环境中。可选的，用户的参会状态可以包括用户当 前为缺席状态(即用户当前在会议环境中但没有参会会议讨论或者用户不在 会议环境中)或用户参会冲突状态，用户的参会状态还可以包括用户当前正 在参与会议讨论。需要说明的是，上述“用户处于会议环境中”可以为会议 终端代替用户接入会议后，用户本人并没有关注会议的内容，而是在做其他 重要的事情，只要摄像机可以拍到用户的图像，则就认为用户处于会议环境 中；“用户为缺席状态”可以为会议终端代替用户接入会议，用户本人当前 在会议环境中但没有参会会议讨论，也可以为用户当前不在会议环境中；对 于“用户是否参会讨论”可以为通过麦克风或者声音检测软件来检测是否接 收到用户的声音来确定用户是否参与讨论；对于上述“用户参会冲突状态” 可以为当前会议需要用户参加，但用户此时正在参加别的会议，则会议终端 就会确定用户的参会状态为用户参会冲突状态，例如，对于音频会议，会议 终端确定当前会议需要用户参加，但会议终端此时检测到麦克风已经打开， 用户已经在参与别的会议讨论了，则会议终端就认为用户的参会状态为用户 参会冲突状态。

需要说明的是，上述S102和S103之间并没有先后顺序，二者也可以同 时进行。

S104：若所述会议终端确定所述会议需要所述用户参加，且所述用户的 参会状态为缺席状态，则所述会议终端向所述用户发送参会提醒信息；所述 参会提醒信息用于提示所述用户参加所述会议。

可选的，会议终端向用户发送的参会提醒信息的形式可以是任意的形式， 只要能够通知用户及时参加所述会议即可，本发明实施例中对参会提醒信息 的形式并不做限制。

本发明实施例提供的智能会议的协作方法，会议终端根据所接收到的所 述会议的多媒体信息和预设的多媒体内容，确定所述会议是否需要所述用户 参加，同时，会议终端确定用户的参会状态；当会议终端确定所述会议需要 所述用户参加，且所述用户的参会状态为缺席状态，则会议终端向所述用户 发送用于提示所述用户参加所述会议的参会提醒信息。本发明实施例提供的 方法，通过会议终端确定当前会议是否需要用户参加，并结合用户当前的参 会状态来确定向用户发送参会提醒信息，从而可以准确控制用户入会的时间， 使得用户不会错过会议的内容，进而提高了用户的参会效率。

图4为本发明实施例提供的智能会议的协作方法实施例二的流程示意 图。本实施例涉及的是会议终端根据会议的多媒体信息和预设的多媒体内容， 确定所述会议是否需要所述用户参加的具体过程。在上述实施例的基础上， 上述S102具体包括：

S201：会议终端根据所述会议的多媒体信息和所述预设的多媒体内容， 确定所述会议的多媒体信息中是否存在预设的会议信息；所述预设的会议信 息为用于表征需要所述用户参加所述会议的信息。若是，则执行S202，若否， 则执行S203。

可选的，上述预设的多媒体内容可以包括预设的会议信息，该预设的会 议信息可以是音频形式的信息，还可以是视频形式的信息，还可以是图像信 息的形式，还可以是文本信息的形式，还可以是以上形式中的两种或两种以 上结合的形式。该预设的会议信息为需要用户参加当前会议的信息，也就是 说只要会议终端确定出会议的多媒体信息中存在上述预设的多媒体内容中的 预设的会议信息，就可以确定出当前的会议需要用户参加。

可选的，会议终端可以通过确定会议的多媒体信息是否与预设的多媒体 内容中的预设的会议信息完全相同或者大部分相同，来确定会议的多媒体信 息中是否存在上述预设的会议信息，例如，会议终端可以通过判断会议的多 媒体信息与预设的会议信息的相似度，当相似度大于某一设定的阈值时，就 可以确定会议的多媒体信息中存在上述预设的会议信息。又例如，该预设的 会议信息可以是用户的名字XXX，当会议终端检测到会议的多媒体信息中包 括“由XXX讲述会议相关内容”的语音时，会议终端就确定该会议需要用户 参加；再例如，该预设的会议信息可以是用户预设的自己在该会议里需要讲 述的议题A，那么当会议终端检测到会议的多媒体信息中包括A时，会议终 端就确定该会议需要用户参加。总而言之，本发明实施例对上述预设的会议 信息的表现形式并不做限定，只要其能够表征当前会议需要用户参加即可。

S202：会议终端确定所述会议需要所述用户参加。

S203：会议终端确定所述会议的多媒体信息中是否存在所述用户关注的 第一多媒体信息。若是，则执行S204，若否，则执行S207。

具体的，当会议终端确定会议的多媒体信息中不存在上述预设的会议信 息时，则会议终端进一步确定该会议的多媒体信息中是否存在用户的关注的 第一多媒体信息。具体的，会议终端确定会议的多媒体信息中是否存在用户 的关注的第一多媒体信息，可以参见图5所示的实施例三，具体包括如下步 骤：

S301：会议终端对所述会议的多媒体信息进行检测识别，获得识别结果， 并将所述识别结果和所述预设的多媒体内容进行特征匹配，获得特征匹配结 果。

具体的，当会议终端接收到远端设备发送的会议的多媒体信息后，对该 会议的多媒体信息进行检测识别，确定出会议终端可识别的文本信息或者字 符串或者图片信息等，作为识别结果。需要说明的是，不同形式的会议的多 媒体信息，会议终端所采取的检测识别方式可以不同。例如，当上述会议的 多媒体信息仅包括图像信息时，则会议终端会提取该图像的特征参数，以使 会议终端可以根据图像的特征参数确定图像的内容，从而得到识别结果。可 选的，该图像信息的特征参数可以为图像的亮度、饱和度、颜色、几何特征、 分辨率、像素特征等；当上述会议的多媒体信息包括音频信息时，会议终端 会根据语音识别技术确定该音频信息中语音的实际含义，得到识别结果。

待会议终端获得会议的多媒体信息的识别结果后，会议终端将该识别结 果与预设的多媒体内容进行特征匹配，获得特征匹配结果。该特征匹配结果 可以为上述识别结果与预设的多媒体内容中的图像内容、文本内容的相同或 者相关或者相近的程度(即匹配度或相关度)。

S302：会议终端判断所述特征匹配结果是否大于预设的匹配阈值；若是 在，则执行S303，若否，则执行S304。

具体的，会议终端确定上述特征匹配结果可以为上述识别结果与预设的 多媒体内容相同或者相关或者相近的程度(即匹配度或相关度)，并判断该 相关度或者匹配度是否大于预设的匹配阈值(匹配度或相关度超过匹配阈值 越多，说明该识别结果与预设的多媒体内容越相关)，并根据判断结果确定 上述会议的多媒体信息中是否存在用户关注的第一多媒体信息。

S303：会议终端确定所述会议的多媒体信息中存在所述第一多媒体信息。

具体的，若上述特征匹配结果大于预设的匹配阈值，则会议终端确定会 议的多媒体信息中存在上述第一多媒体信息，该第一多媒体信息可以为用户 关注的图像数据或者用户关注的文本信息或者用户关注的音频信息等。

可选的，当会议终端确定出上述会议的多媒体信息中存在用户关注的第 一多媒体信息后，会议终端可以根据一定的策略对用户关注的第一多媒体信 息(例如，用户关注的图像信息、语音信息、文本信息)进行格式转换或压 缩等处理，并保存处理后的第一多媒体信息，方便用户后期查看。例如：当 会议终端确定出第一多媒体信息为用户关注的图像信息或用户关注的语音信 息后，可以将第一多媒体信息录制为文件进行保存，用户可以对这些文件进 行检索和点播；又例如，当会议终端确定出第一多媒体信息为用户关注的文 本信息后，会议终端可以将文本信息直接保存为文件；再例如，当会议终端 确定出第一多媒体信息为用户关注的音频信息后，会议终端可以将该音频数 据转化为文本形式的会议纪要进行保存。

S304：会议终端确定所述会议的多媒体信息中不存在所述第一多媒体信 息。

综上，上述S301至S304具体描述了会议终端如何确定会议的多媒体信 息中是否存在用户关注的第一多媒体信息的过程。

S204：会议终端根据所述第一多媒体信息和第一映射关系确定所述第一 多媒体信息的用户关注度；所述第一映射关系为所述预设的多媒体内容中的 不同内容与用户关注度的对应关系。

具体的，继上述S203之后，当会议终端确定会议的多媒体信息中存在用 户关注的第一多媒体信息后，会议终端根据该第一多媒体信息和第一映射关 系确定该第一多媒体信息的用户关注度，上述第一映射关系可以为上述预设 的多媒体内容中的不同内容与用户关注度的对应关系，可选的，上述第一映 射关系中，上述预设的多媒体内容中的不同内容可以对应不同的用户关注度， 还可以为预设的多媒体内容中的部分不同的内容对应相同的用户关注度。

可选的，上述第一映射关系可以预设在会议终端内部的存储器中，也可 以预设在与会议终端连接的外部设备中，当会议终端确定会议的多媒体信息 中存在第一多媒体信息时，可以从外部设备中调用该第一映射关系来确定第 一多媒体信息的用户关注度(这样可以减缓会议终端内部存储器的缓存压 力)。

S205：会议终端判断所述第一多媒体信息的用户关注度是否大于预设的 用户关注度阈值；若是，则执行S206，若否，则执行S207。

S206：会议终端确定所述会议需要所述用户参加。

S207：会议终端确定所述会议不需要所述用户参加。

具体的，当会议终端确定了上述第一多媒体信息的用户关注度之后，判 断该第一多媒体信息的用户关注度是否大于预设的用户关注度阈值，当第一 多媒体信息的用户关注度大于上述预设的用户关注度阈值时，则会议终端确 定当前会议需要用户参加，当第一多媒体信息的用户关注度小于或等于上述 预设的用户关注度阈值时，则会议终端确定当前会议不需要用户参加。

本发明实施例提供的智能会议的协作方法，通过会议终端接收远端设备 发送的会议的多媒体信息，并根据所述会议的多媒体信息和预设的多媒体内 容，确定会议的多媒体信息中是否存在预设的会议信息，并在判断不存在预 设的会议信息时，进一步确定会议的多媒体信息中是否存在用户关注的第一 多媒体信息，并在存在第一多媒体信息的情况下，通过确定该第一多媒体信 息的用户关注度和预设的用户关注度阈值的大小，来确定当前会议是否需要 用户参加。本发明实施例提供的方法，通过会议终端确定当前会议是否需要 用户参加，并结合用户当前的参会状态来确定向用户发送参会提醒信息，从 而可以准确控制用户入会的时间，使得用户不会错过会议的内容，进而提高 了用户的参会效率；另外，上述会议终端不仅可以识别会议中的用户所关注 的音频内容，还可以识别会议中用户所关注的图像内容、文本内容等第一多 媒体信息，从而使得用户在需要查看自己所缺席的会议的会议内容时，可以 获得比较全面的会议信息，进一步提高了提高用户的参会效率。

在上述实施例的基础上，可选的，在上述S104之前，该方法还可以包括： 若所述会议终端确定所述会议需要所述用户参加，且所述用户的参会状态为 缺席状态，则所述会议终端确定所述参会提醒信息的形式；其中，所述参会 提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时消息 形式中的至少一种；则上述S104具体为：会议终端根据所述参会提醒信息的 形式向所述用户发送所述参会提醒信息。

可选的，会议终端确定向用户发送的参会提醒信息的形式，可以包括界 面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种。例 如，当用户处于会议环境中但并没有参与讨论(比如用户处于计算机的显示 屏正前方，虽然处于会议环境中，但用户却在做其他的事情，这种情况用户 的参会状态也是缺席状态)，因此会议终端可以为通过特殊的界面、特殊的 颜色或界面闪烁等方式提醒用户；或者，会议终端可以通过播放一段视频或 音频提醒用户，可选的，所播放的视频或音频可以是会议终端识别的用户感 兴趣的音频数据或视频数据，也可以是会议终端内部生成或会议终端从外部 设备调用的音频数据或视频数据；当用户不在会议环境中时(比如用户并没 有在摄像机可以拍摄得到的范围内，或者用户并未处在计算机的显示屏前 方)，会议终端可以通过短信、邮件和其他即时消息的形式提醒用户参与会 议讨论。

图6为本发明实施例提供的智能会议的协作方法实施例四的流程示意 图。本实施例涉及的是当终端代替用户参会时，检测到会议需要用户参会， 向用户的对端设备发送反馈数据的具体过程。可选的，图6中的方法可以与 上述实施例中的S104之间并没有时序关系的限制，二者可以同时进行。在上 述实施例的基础上，进一步地，在上述S103之后，该方法还包括：

S401：会议终端根据所述会议是否需要所述用户参会以及所述用户的参 会状态确定反馈策略；所述反馈策略用于指示所述会议终端向所述远端设备 发送反馈数据的类型。

S402：会议终端根据所述反馈策略向所述远端设备发送所述反馈数据； 所述反馈数据包括：与所述远端设备进行交互的视频内容、与所述远端设备 进行交互的音频内容、与所述远端设备进行交互的文本内容中的至少一种。

具体的，该反馈策略所指示的会议终端向远端设备发送反馈数据的类型， 可以包括下述的第一反馈数据、第二反馈数据、第三反馈数据和第四反馈数 据中的任一种类型。可选的，会议终端可以根据上述会议是否需要用户参加 和用户的参会状态构建决策树，进行决策树学习得到反馈策略。可选的，上 述反馈数据可以为用户预设的反馈内容，还可以为根据上述反馈策略和用户 预设的反馈内容生成的数据，该反馈数据可以包括：与所述远端设备进行交 互的视频内容、与所述远端设备进行交互的音频内容、与所述远端设备进行 交互的文本内容中的至少一种。可选的，上述反馈策略还可以用于指示反馈 数据的形式。例如，若用户预设的反馈数据为图像数据，但是反馈策略中指 示反馈数据的形式应该为文本格式，则会议终端就会将用户预设的图像格式 的反馈数据转换为文本格式，进而发送给远端设备。

上述会议终端根据所述会议是否需要所述用户参会以及所述用户的参会 状态确定反馈策略，可以包括下述四种方式：

第一种：若所述会议终端确定所述会议需要所述用户参加，且所述用户 的参会状态为缺席状态，则所述会议终端确定的所述反馈策略为向所述远端 设备发送第一反馈数据，所述第一反馈数据用于向所述远端设备指示所述会 议终端正在通知所述用户加入所述会议。

具体的，当会议终端确定用户的参会状态为缺席状态，且会议终端确定 当前会议需要用户参加，则会议终端确定出反馈策略为向其他会场的设备(即 远端设备)发送第一反馈数据，该第一反馈数据用于向其他会场的设备指示 所述会议终端正在通知所述用户加入所述会议。可选的，会议终端向其他会 场的设备发送的第一反馈数据，可以是向其他会场发送告知用户当前为缺席 状态且正在通知用户及时参加会议的提示信息，该提示信息可以是文本、语 音或视频片段。例如，在其它会场所显示的图像上叠加提示文本信息，或者， 在发送给其它会场的音频流中混入提示语音，或者，在发送给其它会场的图 像上叠加提示图像等。

第二种：若所述会议终端确定所述会议需要所述用户参加，且所述用户 的参会状态为缺席状态，则所述会议终端确定的所述反馈策略为向所述远端 设备发送第二反馈数据；所述第二反馈数据用于向所述远端设备示出所述用 户预设的与所述会议相关的会议内容。

具体的，会议终端内部可以有用户预设的参会讨论的第二反馈数据，该 第二反馈数据用于向所述远端设备示出所述用户预设的与所述会议相关的会 议内容。在一些场景下，用户预先知道自己在本次会议中会涉及到哪些议题 的讨论或者发表哪些自己观点，故用户可以预先录制音频或视频文件，或者 预先存储相关的文本信息(例如共享的胶片)等文件作为第二反馈数据，则 当会议终端确定用户的参会状态为缺席状态，且确定会议需要用户参会讨论 时，会议终端确定出反馈策略为向其他会场的设备反馈用户预设的第二反馈 数据。

第三种：若所述会议终端确定所述会议不需要所述用户参加，且所述用 户的参会状态为缺席状态，则所述会议终端确定的所述反馈策略为向所述远 端设备发送第三反馈数据；所述第三反馈数据用于向所述远端设备指示所述 用户正在参会。

具体的，当会议终端确定用户的参会状态为缺席状态(即用户当前在会 议环境中但没有参会讨论或者用户不在会议环境中)，且会议终端确定当前 的会议需要用户参加，则会议终端可以确定反馈策略为向其他会场的设备发 送第三反馈数据。该第三反馈数据用于向所述远端设备指示所述用户正在参 会。可选的，该第三反馈数据可以为一个静态的用户图像，或者是一段用户 在会议室中的视频，进而可以使得其它会场的参会者认为用户处于会议环境 中且正在参加当前会议。

第四种：若所述会议终端确定所述会议需要所述用户参加，且所述用户 的参会状态为用户参会冲突状态，则所述会议终端确定的所述反馈策略为向 所述远端设备发送第四反馈数据，并记录所述会议当前的会议内容；所述第 四反馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状 态。

具体的，会议终端可以检测用户参与多个会议是否存在冲突，在冲突发 生时，会议终端确定用户的参会状态为用户参会冲突状态，并且，当会议终 端同时也确定此时用户正在参加其他会议，无法及时参加当前需要用户参加 的会议，则会议终端确定出反馈策略为向当前会议的会场发送第四反馈数据， 以告知当前会场用户当前的状态，或者提示当前会场的参会者等待一段时间 或者先进行其他的会议环节，与此同时，会议终端可以记录这些会场当前的 会议内容(例如其他参会者的发言内容)，待用户本人后续参与时能够先了 解其他参会人的发言内容，从而能够快速融入会议。可选的，该第四反馈数 据的形式可以是音频、视频或文本的形式，本发明实施例对此并不做限制。

需要说明的是，当用户本人加入会议后，用户会代替会议终端得到会议 的控制权，此时会议终端不再模拟用户参会，而是发送用户真实的实时音视 频等数据流给其它参会方。当用户离开会议讨论时，会议终端再次可以代替 用户参加会议。例如，会议终端代替用户参加3个会议，后来其中1个会议 需要用户参加，则会议终端向用户发送参会提醒信息通知用户参加该会议， 则用户在接收到参会提醒信息后，接管该会议(即用户本人参加该会议)， 可选的，对于视频会议而言，会议终端发送参会提醒信息后，检测到摄像头 拍摄到了用户的真实视频或检测到了用户入会的某些实际操作(例如用户点 击了某个控件)，则会议终端就会将上述发送给远端设备的第三反馈数据(例 如录制的一段用户在会议室中的视频)变成摄像头拍摄的实时视频。

本发明实施例提供的智能会议的协作方法，会议终端通过检测用户是否 参会，获得用户的参会状态，并根据用户的参会状态和当前会议是否需要用 户参加，确定向远端设备(或者其他会场)发送相应类型的反馈数据以及确 定向用户发送参会提醒信息，从而使得用户可以及时入会，与其他会场的参 会者进行交互，因此，本发明实施例提供的方法，可以避免用户错过与自己 相关的会议内容，提高了用户的参会效率；另外，会议终端不仅可以识别会 议中的用户所关注的音频内容，还可以识别会议中用户所关注的图像内容和 文本内容等第一多媒体信息，从而使得用户在需要查看自己所缺席的会议的 会议内容时，可以获得比较全面的会议信息，故进一步提高了用户的参会效 率。

图7为本发明实施例提供的智能会议的协作方法实施例五的流程示意 图。本实施例涉及的是当用户关注的第一多媒体信息包括所述会议中第一参 会者的人脸信息，预设的多媒体内容中所述用户关注的图像内容的关联信息 为所述第一参会者的身份信息，会议终端获得特征匹配结果的具体过程。在 上述实施例的基础上，上述S301具体包括：

S501：会议终端对所述会议的多媒体信息进行检测，确定参会的参会者 在所述多媒体信息中的人脸位置和人脸大小。

具体的，会议终端可以对接收到的会议的多媒体信息进行检测，一般的， 该会议的多媒体信息可以为一段视频图像，会议终端可以在视频图像中识别 出所有参会者在视频图像中的人脸位置和人脸大小。会议终端对会议的多媒 体信息进行的人脸检测，基于的是视频图像中包含的人脸的模式特征，例如 直方图特征、颜色特征、模板特征、结构特征及哈尔(Haar)特征等，即， 会议终端可以通过图像处理技术可以将这些模式特征检测出来，并利用这些 特征确定人脸位置和人脸大小。

S502：会议终端对所述参会者在所述多媒体信息中的人脸位置和人脸大 小进行特征提取，获得所述参会者的人脸特征。

具体的，当会议终端从会议的多媒体信息中确定出所有参会者的人脸位 置和人脸大小后，会议终端根据所确定的这些参会者的人脸位置和人脸大小 进行特征提取，特征提取的过程实际上是对人脸进行特征建模的过程，例如， 可以利用几何特征的方法。由于人脸是由眼睛、鼻子、嘴、下巴等局部构成， 因此对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特 征，这些特征被称为几何特征。根据人脸器官的形状描述以及两者之间的距 离特性可以获得有助于人脸分类的特征数据，其特征分量通常包括特征点间 的欧氏距离、曲率和角度等。会议终端根据几何特征的方法，可以确定出所 有参会者的人脸特征。

S503：会议终端将每个参会者的人脸特征与预设的人脸信息库进行匹配， 确定第一匹配度。

具体的，在会议终端获得所有参会者的人脸特征后，会议终端可以将这 些人脸特征与预设的人脸信息库进行匹配，确定每个参会者的人脸特征与预 设的人脸信息库的人脸信息的第一匹配度。可选的，该预设的人脸信息库可 以为用户通过一些加载软件将涉及的参会概率高的用户的人脸以及其他信息 加载在会议终端的处理器中。该预设的人脸信息库可以包括多个人脸信息， 每个人脸信息对应一个参会者的身份信息。例如，假设会议终端从会议的多 媒体信息中确定了4个参会者的人脸特征，然后会议终端将这4个参会者(A、 B、C、D)的人脸特征与人脸信息库中的每个人脸信息进行匹配，确定各自的 第一匹配度。

S504：会议终端确定所述识别结果为所述人脸信息库中的所述第一匹配 度大于预设的第一阈值的参会者的身份信息。

具体的，继续按照上述举例，假设会议终端确定参会者A的人脸特征与 人脸信息库中的A’的人脸信息的第一匹配度大于第一阈值，参会者B、参会 者C和参会者D与人脸信息库中的所有人脸信息匹配后，其第一匹配度均小 于第一阈值，则会议终端确定识别结果为人脸信息库中的A’的人脸信息对 应的参会者的身份信息。

可选的，上述S503和S504的执行主体也可以是与会议终端可以进行通 信的网络设备，例如网络服务器等，即终端将每个参会者的人脸特征发送给 网络设备，由网络设备将每个参会者的人脸特征与网络设备上预设的人脸信 息库进行匹配，获得第一匹配度，并确定最终的识别结果为人脸信息库中的 第一匹配度大于预设的第一阈值的参会者的身份信息，从而将该人脸信息库 中的第一匹配度大于预设的第一阈值的参会者的身份信息发送给会议终端。

S505：会议终端将所述人脸信息库中的所述第一匹配度大于预设的第一 阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会者的身份信 息匹配，获得所述特征匹配结果。

具体的，继续按照上述举例，会议终端判断上述A’的人脸信息对应的 参会者的身份信息是否与预设的多媒体内容中的第一参会者的身份信息匹 配，即判断上述A’的人脸信息对应的参会者的身份信息是否与第一参会者 的身份信息相同或者相近，从而获得特征匹配结果，并根据特征匹配结果确 定当前会议是否需要用户参加。需要说明的是，会议终端根据特征匹配结果 确定当前会议是否需要用户参加可以参见上述实施例二和实施例三中的描 述，在此不再赘述。

图8为本发明实施例提供的智能会议的协作方法实施例六的流程示意 图。在上述实施例的基础上，本实施例涉及的是当用户关注的第一多媒体信 息包括所述会议中的第一文本信息，用户关注的文本内容为所述第一文本信 息时，会议终端获得特征匹配结果的具体过程。在上述实施例的基础上，上 述S301具体包括：

S601：会议终端对所述会议的多媒体信息进行检测，确定文本块区域在 所述会议的多媒体信息中的位置和大小。

S602：会议终端根据所述文本块区域在所述会议的多媒体信息中的位置 和大小，获得所述会议的多媒体信息中的文本块。

具体的，会议终端可以对接收到的会议的多媒体信息进行检测，一般的， 该会议的多媒体信息可以为一段视频图像，会议终端可以在视频图像中检测 出视频图像中存在的所有文本块区域的位置和大小，进而确定出会议的多媒 体信息中的所有文本块。可选的，会议终端可以利用基于纹理的方法、或者 基于边缘检测的方法或者基于连通域的方法，来进行文本块区域的位置和大 小的检测。例如，基于纹理的方法主要是通过基于背景与字符纹理特性的差 异来获取文本块在视频图像中的位置和大小，进而获得会议的多媒体信息中 的所有文本块。

S603：会议终端将所述会议的多媒体信息中的文本块与预设的文本信息 库进行匹配，确定第二匹配度。

S604：会议终端确定所述识别结果为所述文本信息库中的所述第二匹配 度大于预设的第二阈值的文本信息。

具体的，会议终端可以通过模板匹配法，将上述确定的会议的多媒体信 息中的所有文本块中的文字与预设的文本信息库进行相关匹配，计算文本块 中的文字与预设的文本信息库中各个文本信息之间的第二匹配度，并将文本 信息库中与文本块中的文字的第二匹配度大于预设的第二阈值的文本信息作 为识别结果。需要说明的是，上述文本信息库中的文本信息是会议终端可识 别的文本信息(例如会议终端可识别的字符串)，但上述文本块中的文字却 是会议终端识别不了的，因此，会议终端需要通过上述模板匹配法，从文本 信息库中找到与文本块的文字具有相同或者相近含义的文本信息(即第二匹 配度大于第二阈值的文本信息)，将其作为识别结果。

S605：会议终端将所述文本信息库中的所述第二匹配度大于预设的第二 阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息匹配，获得 所述特征匹配结果。

具体的，会议终端将上述文本信息库中的第二匹配度大于预设的第二阈 值的文本信息与预设的多媒体内容中的所述第一文本信息匹配，即判断上述 文本信息库中的第二匹配度大于预设的第二阈值的文本信息与预设的多媒体 内容中的所述第一文本信息是否相同或相近，从而确定出特征匹配结果，并 根据特征匹配结果确定当前会议是否需要用户参加。需要说明的是，会议终 端根据特征匹配结果确定当前会议是否需要用户参加可以参见上述实施例二 和实施例三的具体描述，在此不再赘述。

图9为本发明实施例提供的智能会议的协作方法实施例七的流程示意 图。在上述实施例的基础上，本实施例涉及的是当用户关注的第一多媒体信 息包括所述会议中的第一文本信息，用户关注的文本内容为所述第一文本信 息时，会议终端获得特征匹配结果的另一具体过程。在上述实施例的基础上， 上述S301具体包括：

S701：会议终端对所述会议的多媒体信息进行检测，确定文本块区域在 所述会议的多媒体信息中的位置和大小，获得所述会议的多媒体信息中的文 本块。

具体的，S701可以参见上述S601的描述过程，在此不再赘述。

S702：会议终端根据所述文本块的几何特征确定所述识别结果。

具体的，会议终端可以通过几何特征抽取法，抽取文本块中的文字的一 些几何特征，如文字的端点、分叉点、凹凸部分以及水平、垂直、倾斜等各 方向的线段、闭合环路等，根据这些特征的位置和相互关系进行逻辑组合判 断，确定出会议终端可识别的文本信息，作为识别结果。

S703：会议终端将所述识别结果与所述预设的多媒体内容中的所述第一 文本信息匹配，获得所述特征匹配结果。

具体的，会议终端通过上述通过几何特征抽取法，将文本块的文字转换 为会议终端可识别的文本信息后，将该文本信息与预设的多媒体内容中的所 述第一文本信息匹配，即判断该文本信息与预设的多媒体内容中的所述第一 文本信息是否相同或相近，从而确定出特征匹配结果，并根据特征匹配结果 确定当前会议是否需要用户参加。需要说明的是，会议终端根据特征匹配结 果确定当前会议是否需要用户参加可以参见上述实施例二和实施例三中的描 述，在此不再赘述。

图10为本发明实施例提供的智能会议的协作方法实施例八的流程示意 图。在上述实施例的基础上，本实施例涉及的是当用户关注的第一多媒体信 息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述 第一文本信息相关的第一数据信息时，会议终端获得特征匹配结果的另一具 体过程。在上述实施例的基础上，上述S301具体包括：

S801：会议终端对所述会议的多媒体信息进行检测，确定所述会议的多 媒体信息中除所述文本类型、所述参会者人脸类型之外其他数据信息。

具体的，本实施例涉及的方法是用户关注的第一多媒体信息不再是文本 信息或参会者的人脸信息，而是会议的多媒体信息中除这两者之外的与上述 实施例七中的第一文本信息相关的第一数据信息。可选的，当第一文本信息 为对某一个图片的描述信息时，该第一数据信息实际上就为第一文本信息所 描述的图片的相关内容，例如，当第一文本信息描述的是一副图片的颜色时， 则第一数据信息就可以是该图片的颜色深度或者亮度等特征；当第一文本信 息为一段GUI界面的介绍时，第一数据信息就可以为该GUI界面的颜色、亮 度或者大小等属性信息。

S802：会议终端根据所述第一文本信息和所述其他数据信息，确定所述 其他数据信息与所述第一文本信息的相关度。

S803：会议终端确定所述识别结果为所述其他数据信息中所述相关度大 于预设的第三阈值的数据信息。

具体的，当会议终端从上述会议的多媒体信息中确定除所述文本类型、 所述参会者人脸类型之外其他数据信息后，判断所述其他数据信息与所述第 一文本信息是否相关，确定其相关度，并将所述其他数据信息中相关度大于 预设的第三阈值的数据信息作为识别结果。例如，当第一数据信息为用户关 注的第一文本信息(假设为一段艺术字)的亮度，则若会议终端从会议的多 媒体信息中确定的除文本类型、参会者人脸类型之外的有一个数据信息为艺 术字的亮度或颜色的，则会议终端确定的二者的相关度大于第三阈值，则会 议终端就将该数据信息作为识别结果。

S804：会议终端将所述其他数据信息中所述相关度大于预设的第三阈值 的数据信息与所述第一数据信息匹配，获得所述特征匹配结果。

本发明实施例提供的智能会议的协作方法，会议终端通过检测用户是否 参会，获得用户的参会状态，并根据用户的参会状态和当前会议是否需要用 户参加，确定向远端设备(或者其他会场)发送相应类型的反馈数据以及确 定向用户发送参会提醒信息，从而使得用户可以及时入会，与其他会场的参 会者进行交互，因此，本发明实施例提供的方法，可以避免用户错过与自己 相关的会议内容，提高了用户的参会效率；另外，会议终端不仅可以识别会 议中的用户所关注的音频内容，还可以识别会议中用户所关注的图像内容和 文本内容等第一多媒体信息，从而使得用户在需要查看自己所缺席的会议的 会议内容时，可以获得比较全面的会议信息，故进一步提高了用户的参会效 率。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可 读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而 前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的 介质。

图11为本发明实施例提供的会议终端实施例一的结构示意图，如图11 所示，该会议终端可以包括接收模块10、第一确定模块11、第二确定模块 12和发送模块13。

其中，接收模块10，用于接收远端设备发送的会议的多媒体信息；所述 会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种；其中， 所述会议终端为已加入所述会议的终端；

第一确定模块11，用于根据所述会议的多媒体信息和预设的多媒体内容， 确定所述会议是否需要所述用户参加；其中，所述预设的多媒体内容包括： 所述用户关注的语音内容、所述用户关注的图像内容、所述用户关注的图像 内容的关联信息和所述用户关注的文本内容中的至少一种；

第二确定模块12，用于确定所述用户的参会状态；所述用户的参会状态 包括缺席状态或用户参会冲突状态；

发送模块13，用于在所述第一确定模块11确定所述会议需要所述用户 参加，且所述第二确定模块12确定所述用户的参会状态为缺席状态时，向所 述用户发送参会提醒信息；所述参会提醒信息用于提示所述用户参加所述会 议。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图12为本发明实施例提供的会议终端实施例二的结构示意图。在上述图 11所示实施例的基础上，进一步地，如图12所示，所述第一确定模块11， 包括：第一确定单元111，用于根据所述会议的多媒体信息和所述预设的多 媒体内容，确定所述会议的多媒体信息中是否存在预设的会议信息，若所述 会议的多媒体信息中存在所述预设的会议信息时，确定所述会议需要所述用 户参加；所述预设的会议信息为用于表征需要所述用户参加所述会议的信息。

更进一步地，所述第一确定模块11，还包括：第二确定单元112和判断 单元113。其中，所述第二确定单元112，用于在所述第一确定单元111确定 所述会议的多媒体信息中不存在所述预设的会议信息时，确定所述会议的多 媒体信息中是否存在所述用户关注的第一多媒体信息，并在确定所述会议的 多媒体信息中存在所述用户关注的第一多媒体信息时，根据所述第一多媒体 信息和第一映射关系确定所述第一多媒体信息的用户关注度；所述第一映射 关系为所述预设的多媒体内容中的不同内容与用户关注度的对应关系；所述 判断单元113，用于判断所述第一多媒体信息的用户关注度是否大于预设的 用户关注度阈值；若是，则确定所述会议需要所述用户参加；若否，则确定 所述会议不需要所述用户参加。

更进一步地，所述第二确定单元112，具体用于对所述会议的多媒体信 息进行检测识别，获得识别结果，并将所述识别结果和所述预设的多媒体内 容进行特征匹配，获得特征匹配结果，并判断所述特征匹配结果是否大于预 设的匹配阈值；若是，则确定所述会议的多媒体信息中存在所述第一多媒体 信息；若否，则确定所述会议的多媒体信息中不存在所述第一多媒体信息。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图13为本发明实施例提供的会议终端实施例三的结构示意图。在上述图 11或图12所示实施例的基础上，进一步地，如图13所示，所述会议终端还 包括：第三确定模块14，用于在所述第一确定模块11确定所述会议需要所 述用户参加，且所述第二确定模块12确定所述用户的参会状态为缺席状态 时，确定所述参会提醒信息的形式；其中，所述参会提醒信息的形式包括界 面形式、图像形式、视频形式、音频形式、即时消息形式中的至少一种；

则所述发送模块13，具体用于根据所述参会提醒信息的形式向所述用户 发送所述参会提醒信息。

需要说明的是，图13示出的指示基于图12所示的实施例的结构，当然， 图13也可以基于图11所示的实施例，本发明只是示出了其中的一种。

图14为本发明实施例提供的会议终端实施例四的结构示意图。在上述图 11或图12或图13所示实施例的基础上，进一步地，如图14所示，所述会 议终端还包括：第四确定模块15，用于根据所述会议是否需要所述用户参会 以及所述用户的参会状态确定反馈策略；所述反馈策略用于指示所述会议终 端向所述远端设备发送反馈数据的类型；

则所述发送模块13，还用于根据所述反馈策略向所述远端设备发送所述 反馈数据；所述反馈数据包括：与所述远端设备进行交互的视频内容、与所 述远端设备进行交互的音频内容、与所述远端设备进行交互的文本内容中的 至少一种。所述反馈数据为所述用户预设的反馈内容，或者，根据所述反馈 策略和所述用户预设的反馈内容生成的数据。

可选的，所述第四确定模块15，具体用于若所述会议需要所述用户参加， 且所述用户的参会状态为缺席状态，则确定所述反馈策略为向所述远端设备 发送第一反馈数据，所述第一反馈数据用于向所述远端设备指示所述会议终 端正在通知所述用户加入所述会议。

可选的，所述第四确定模块15，具体用于若所述会议需要所述用户参加， 且所述用户的参会状态为缺席状态，则确定所述反馈策略为向所述远端设备 发送第二反馈数据；所述第二反馈数据用于向所述远端设备示出所述用户预 设的与所述会议相关的会议内容。

可选的，所述第四确定模块15，具体用于若所述会议不需要所述用户参 加，且所述用户的参会状态为缺席状态，则确定所述反馈策略为向所述远端 设备发送第三反馈数据；所述第三反馈数据用于向所述远端设备指示所述用 户正在参会。

可选的，所述第四确定模块15，具体用于若所述会议需要所述用户参加， 且所述用户的参会状态为用户参会冲突状态，则确定所述反馈策略为向所述 远端设备发送第四反馈数据，并记录所述会议当前的会议内容；所述第四反 馈数据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。

需要说明的是，图14示出的指示基于图13所示的实施例的结构，当然， 图14也可以基于图11或图12所示的实施例，本发明只是示出了其中的一种。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图15为本发明实施例提供的会议终端实施例五的结构示意图。在上述图 12或图13或图14所示实施例的基础上，进一步地，如图15所示，若所述 用户关注的第一多媒体信息包括所述会议中第一参会者的人脸信息，所述预 设的多媒体内容中所述用户关注的图像内容的关联信息为所述第一参会者的 身份信息；则上述第二确定单元112，具体包括：第一检测子单元1121、特 征提取子单元1122、第一匹配子单元1123、第一确定子单元1124和第二匹 配子单元1125。

其中，第一检测子单元1121，用于对所述会议的多媒体信息进行检测， 确定参会的参会者在所述多媒体信息中的人脸位置和人脸大小；

特征提取子单元1122，用于对所述参会者在所述多媒体信息中的人脸位 置和人脸大小进行特征提取，获得所述参会者的人脸特征；

第一匹配子单元1123，用于将每个参会者的人脸特征与预设的人脸信息 库进行匹配，确定第一匹配度；

第一确定子单元1124，用于确定所述识别结果为所述人脸信息库中的所 述第一匹配度大于预设的第一阈值的参会者的身份信息；

第二匹配子单元1125，用于将所述人脸信息库中的所述第一匹配度大于 预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的第一参会 者的身份信息匹配，获得所述特征匹配结果。

需要说明的是，图15示出的指示基于图14所示的实施例的结构，当然， 图15也可以基于图12或图13所示的实施例，本发明只是示出了其中的一种。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图16为本发明实施例提供的会议终端实施例六的结构示意图。在上述图 12或图13或图14所示实施例的基础上，进一步地，如图16所示，若所述 用户关注的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为 所述第一文本信息，则所述第二确定单元112，具体包括：第二检测子单元 1126、获取子单元1127、第三匹配子单元1128、第二确定子单元1129和第 四匹配子单元1130。

其中，第二检测子单元1126，用于对所述会议的多媒体信息进行检测， 确定文本块区域在所述会议的多媒体信息中的位置和大小；

获取子单元1127，用于根据所述文本块区域在所述会议的多媒体信息中 的位置和大小，获得所述会议的多媒体信息中的文本块；

第三匹配子单元1128，用于将所述会议的多媒体信息中的文本块与预设 的文本信息库进行匹配，确定第二匹配度；

第二确定子单元1129，用于确定所述识别结果为所述文本信息库中的所 述第二匹配度大于预设的第二阈值的文本信息；

第四匹配子单元1130，用于将所述文本信息库中的所述第二匹配度大于 预设的第二阈值的文本信息与所述预设的多媒体内容中的所述第一文本信息 匹配，获得所述特征匹配结果。

需要说明的是，图16示出的指示基于图14所示的实施例的结构，当然， 图16也可以基于图12或图13所示的实施例，本发明只是示出了其中的一种。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图17为本发明实施例提供的会议终端实施例七的结构示意图。在上述图 12或图13或图14所示实施例的基础上，进一步地，如图17所示，若所述 用户关注的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为 所述第一文本信息，则所述第二确定单元112，具体包括：第三检测子单元 1131、第三确定子单元1132和第五匹配子单元1133。

其中，第三检测子单元1131，用于对所述会议的多媒体信息进行检测， 确定文本块区域在所述会议的多媒体信息中的位置和大小，获得所述会议的 多媒体信息中的文本块；

第三确定子单元1132，用于根据所述文本块的几何特征确定所述识别结 果；

第五匹配子单元1133，用于将所述识别结果与所述预设的多媒体内容中 的所述第一文本信息匹配，获得所述特征匹配结果。

需要说明的是，图17示出的指示基于图14所示的实施例的结构，当然， 图17也可以基于图12或图13所示的实施例，本发明只是示出了其中的一种。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图18为本发明实施例提供的会议终端实施例八的结构示意图。在上述图 12至图17任一所示实施例的基础上，进一步地，如图18所示，若所述第一 多媒体信息包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外 的与所述第一文本信息相关的第一数据信息，则所述第二确定子单元1129， 包括：第四检测子单元1134、第四确定子单元1135、第五确定子单元1136 和第六匹配子单元1137。

其中，第四检测子单元1134，用于对所述会议的多媒体信息进行检测， 确定所述会议的多媒体信息中除所述文本类型、所述参会者人脸类型之外其 他数据信息；

第四确定子单元1135，用于根据所述第一文本信息和所述其他数据信息， 确定所述其他数据信息与所述第一文本信息的相关度；

第五确定子单元1136，用于确定所述识别结果为所述其他数据信息中所 述相关度大于预设的第三阈值的数据信息；

第六匹配子单元1137，用于所述其他数据信息中所述相关度大于预设的 第三阈值的数据信息与所述第一数据信息匹配，获得所述特征匹配结果。

需要说明的是，图18示出的指示基于图14所示的实施例的结构，当然， 图18也可以基于图12或图13或图16或图17任一所示的实施例，本发明只 是示出了其中的一种。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

图19为本发明实施例提供的会议终端实施例九的结构示意图。如图19 所示，该会议终端可以包括处理器20，例如CPU；存储器21，至少一个通信 总线22。通信总线22用于实现元件之间的通信连接。存储器21可能包含高 速RAM存储器，也可能还包括非易失性存储器NVM，例如至少一个磁盘存 储器，存储器21中可以存储各种程序，用于完成各种处理功能以及实现本实 施例的方法步骤。

在本发明实施例中，上述会议终端还包括：接收器23和发送器24。

其中，所述接收器23，用于接收远端设备发送的会议的多媒体信息；所 述会议的多媒体信息包括语音信息、图像信息和文本信息中的至少一种；其 中，所述会议终端为已加入所述会议的终端；

所述处理器20，用于根据所述会议的多媒体信息和预设的多媒体内容， 确定所述会议是否需要所述用户参加，并确定所述用户的参会状态；其中， 所述预设的多媒体内容包括：所述用户关注的语音内容、所述用户关注的图 像内容、所述用户关注的图像内容的关联信息和所述用户关注的文本内容中 的至少一种，所述用户的参会状态包括缺席状态或用户参会冲突状态；

所述发送器24，用于在所述处理器20确定所述会议需要所述用户参加， 且所述用户的参会状态为缺席状态时，向所述用户发送参会提醒信息；所述 参会提醒信息用于提示所述用户参加所述会议。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

进一步地，所述处理器20，具体用于根据所述会议的多媒体信息和所述 预设的多媒体内容，确定所述会议的多媒体信息中是否存在预设的会议信息； 若所述会议的多媒体信息中存在所述预设的会议信息，则确定所述会议需要 所述用户参加；所述预设的会议信息为用于表征需要所述用户参加所述会议 的信息。

进一步地，所述处理器20，还用于在所述会议的多媒体信息中不存在所 述预设的会议信息时，确定所述会议的多媒体信息中是否存在所述用户关注 的第一多媒体信息；当所述会议的多媒体信息中存在所述第一多媒体信息时， 根据所述第一多媒体信息和第一映射关系确定所述第一多媒体信息的用户关 注度，并判断所述第一多媒体信息的用户关注度是否大于预设的用户关注度 阈值；若是，则确定所述会议需要所述用户参加；若否，则确定所述会议不 需要所述用户参加；其中，所述第一映射关系为所述预设的多媒体内容中的 不同内容与用户关注度的对应关系。

更进一步地，所述处理器20，具体用于对所述会议的多媒体信息进行检 测识别，获得识别结果，并将所述识别结果和所述预设的多媒体内容进行特 征匹配，获得特征匹配结果，并判断所述特征匹配结果是否大于预设的匹配 阈值；若是，则确定所述会议的多媒体信息中存在所述第一多媒体信息；若 否，则确定所述会议的多媒体信息中不存在所述第一多媒体信息。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

可选的，所述处理器20，还用于在所述会议需要所述用户参加，且所述 用户的参会状态为缺席状态时，确定所述参会提醒信息的形式；其中，所述 参会提醒信息的形式包括界面形式、图像形式、视频形式、音频形式、即时 消息形式中的至少一种；则所述发送器24，具体用于根据所述参会提醒信息 的形式向所述用户发送所述参会提醒信息。

可选的，所述处理器20，还可以用于根据所述会议是否需要所述用户参 会以及所述用户的参会状态确定反馈策略；所述反馈策略用于指示所述会议 终端向所述远端设备发送反馈数据的类型；则所述发送器24，还用于根据所 述反馈策略向所述远端设备发送所述反馈数据；所述反馈数据包括：与所述 远端设备进行交互的视频内容、与所述远端设备进行交互的音频内容、与所 述远端设备进行交互的文本内容中的至少一种。所述反馈数据为所述用户预 设的反馈内容，或者，根据所述反馈策略和所述用户预设的反馈内容生成的 数据。

可选的，所述处理器20，具体用于在所述会议需要所述用户参加，且所 述用户的参会状态为缺席状态时，确定所述反馈策略为向所述远端设备发送 第一反馈数据，所述第一反馈数据用于向所述远端设备指示所述会议终端正 在通知所述用户加入所述会议。

可选的，所述处理器20，具体用于在所述会议需要所述用户参加，且所 述用户的参会状态为缺席状态时，确定所述反馈策略为向所述远端设备发送 第二反馈数据；所述第二反馈数据用于向所述远端设备示出所述用户预设的 与所述会议相关的会议内容。

可选的，所述处理器20，具体用于在所述会议不需要所述用户参加，且 所述用户的参会状态为缺席状态时，确定所述反馈策略为向所述远端设备发 送第三反馈数据；所述第三反馈数据用于向所述远端设备指示所述用户正在 参会。

可选的，所述处理器20，具体用于在所述会议需要所述用户参加，且所 述用户的参会状态为用户参会冲突状态时，确定所述反馈策略为向所述远端 设备发送第四反馈数据，并记录所述会议当前的会议内容；所述第四反馈数 据用于向所述远端设备指示所述用户的参会状态为用户参会冲突状态。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

作为本发明实施例的一种可能的实施方式，可选的，若所述用户关注的 第一多媒体信息包括所述会议中第一参会者的人脸信息，所述预设的多媒体 内容中所述用户关注的图像内容的关联信息为所述第一参会者的身份信息； 则所述处理器20，具体用于对所述会议的多媒体信息进行检测，确定参会的 参会者在所述多媒体信息中的人脸位置和人脸大小，并对所述参会者在所述 多媒体信息中的人脸位置和人脸大小进行特征提取，获得所述参会者的人脸 特征，并将每个参会者的人脸特征与预设的人脸信息库进行匹配，确定第一 匹配度，进而确定所述识别结果为所述人脸信息库中的所述第一匹配度大于 预设的第一阈值的参会者的身份信息，并将所述人脸信息库中的所述第一匹 配度大于预设的第一阈值的参会者的身份信息与所述预设的多媒体内容中的 第一参会者的身份信息匹配，获得所述特征匹配结果。

作为本发明实施例的另一种可能的实施方式，可选的，若所述用户关注 的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为所述第一 文本信息，所述处理器20，具体用于对所述会议的多媒体信息进行检测，确 定文本块区域在所述会议的多媒体信息中的位置和大小，并根据所述文本块 区域在所述会议的多媒体信息中的位置和大小，获得所述会议的多媒体信息 中的文本块，并将所述会议的多媒体信息中的文本块与预设的文本信息库进 行匹配，确定第二匹配度，进而确定所述识别结果为所述文本信息库中的所 述第二匹配度大于预设的第二阈值的文本信息，并将所述文本信息库中的所 述第二匹配度大于预设的第二阈值的文本信息与所述预设的多媒体内容中的 所述第一文本信息匹配，获得所述特征匹配结果。

作为本发明实施例的第三种可能的实施方式，可选的，若所述用户关注 的第一多媒体信息包括第一文本信息，所述用户关注的文本内容为所述第一 文本信息，则所述处理器20，具体用于对所述会议的多媒体信息进行检测， 确定文本块区域在所述会议的多媒体信息中的位置和大小，获得所述会议的 多媒体信息中的文本块，并根据所述文本块的几何特征确定所述识别结果， 并将所述识别结果与所述预设的多媒体内容中的所述第一文本信息匹配，获 得所述特征匹配结果。

作为本发明实施例的第四种可能的实施方式，进一步地，在上述第三种 可能的实施方式或第四种可能的实施方式的基础上，若所述第一多媒体信息 包括所述会议的多媒体信息中除文本类型、参会者人脸类型之外的与所述第 一文本信息相关的第一数据信息，则所述处理器20，具体用于对所述会议的 多媒体信息进行检测，确定所述会议的多媒体信息中除所述文本类型、所述 参会者人脸类型之外其他数据信息，并根据所述第一文本信息和所述其他数 据信息，确定所述其他数据信息与所述第一文本信息的相关度，并确定所述 识别结果为所述其他数据信息中所述相关度大于预设的第三阈值的数据信 息，进而将所述其他数据信息中所述相关度大于预设的第三阈值的数据信息 与所述第一数据信息匹配，获得所述特征匹配结果。

本发明实施例提供的会议终端，可以执行上述方法实施例，其实现原理 和技术效果类似，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。