多媒体分析装置、多媒体分析系统及多媒体分析方法

摘要

一种多媒体分析装置，包括：存储器，通信接口和处理器，存储器用于存储物体的第一标签信息及第一图像信息，通信接口用于接收来自终端的第二标签信息及第二图像信息，处理器与所述存储器及所述通信接口耦接；处理器用于判断第一标签信息与第二标签信息是否相同以及判断第一图像信息与第二图像信息的图像信息符合度X的范围，产生并发送解决方案给物体管理人员终端，根据物体管理人员终端反馈的解决方案发送相应任务和人员信息给维护管理人员终端，根据维护管理人员终端反馈的人员信息发送对应任务给对应维护人员终端。本申请还提供一种多媒体分析系统以及使用多媒体分析装置的多媒体分析方法。

说明书

技术领域

本申请涉及一种多媒体分析装置、多媒体分析系统及多媒体分析方法。

背景技术

在一些场景中，例如生产过程中发生设备异常问题，通常是在该设备生产出不良品或者直接无法生产的状况下，才会引起生产管理者的注意，从而由生产管理者主导解决设备异常问题。但这种情况下，往往已经生产出了很多不良品而影响生产效率，而这些不良品的报废或返修以及设备停机带来的损失又会增加生产成本。

在一些场景中，例如自助贩卖机或自助取款机等自助设备在使用时，由于这些设备的管理人员一般是隔一定时间现场检查这些设备，当这些设备出现异常时，这些设备的异常通常要在管理人员下一个现场检查时才能发现，管理人员发现后才会开始解决这些设备的问题。而这样通常会导致异常发现不及时，从而影响这些自助设备的使用，进而影响这些自助设备带来的收益。

发明内容

有鉴于此，有必要提供一种多媒体分析装置、多媒体分析系统及多媒体分析方法至少解决上述问题之一。

本申请的第一方面，提供一种多媒体分析装置，包括：存储器，通信接口和处理器，存储器用于存储物体的第一标签信息及第一图像信息，通信接口用于接收来自终端的第二标签信息及第二图像信息，处理器用于：判断第一标签信息与第二标签信息相同；基于第一标签信息与第二标签信息相同，判断第一图像信息与第二图像信息的图像信息符合度X；基于第二阈值≤X＜第一阈值，产生解决方案，通过通信接口发送解决方案给物体管理人员终端，通过通信接口接收来自物体管理人员终端反馈的解决方案；基于反馈的解决方案是物体更换解决方案，通过通信接口发送物体更换任务和生产人员信息给维护管理人员终端，通过通信接口接收来自维护管理人员终端反馈的所述维护人员信息；基于反馈的维护人员信息，通过通信接口发送对应物体更换任务给维护人员终端。

本申请的第二方面，提供一种多媒体分析系统，包括：终端和多媒体分析装置，终端用于收集物体的第二标签和第二图像信息；多媒体分析装置用于接收终端收集的第二标签和第二图像信息并判断第一标签和第二标签的符合度，以及判断第一图像信息与所述第二图像信息的符合度X的范围，根据不同的判断结果发送相应解决方案和提示信息给相应终端，多媒体分析装置为上述多媒体分析装置。

本申请的第三方面，提供使用多媒体分析装置的多媒体分析方法，多媒体装置包括存储器和通信接口，存储器用于存储物体的第一标签信息及第一图像信息，通信接口用于接收来自终端的第二标签信息和第二图像信息，多媒体分析方法包括：判断第一标签信息与第二标签信息相同；基于第一标签信息与第二标签信息相同，判断第一图像信息与第二图像信息的图像信息符合度X；基于第二阈值≤X＜第一阈值，产生解决方案，发送解决方案给物体管理人员终端，接收来自物体管理人员终端反馈的所述解决方案；基于反馈的解决方案是物体更换解决方案，发送物体更换任务和维护人员信息给维护管理人员终端，接收来自维护管理人员终端反馈的维护人员信息；基于反馈的维护人员信息，发送对应物体更换任务给所述维护人员终端。

本申请提供的多媒体分析装置，多媒体分析系统及多媒体分析方法，通过比对物体标签，快速锁定对应物体，然后通过比对判断图像信息的符合度，实时监控物体的状态，并根据不同的符合度判断结果，产生对应的解决方案给管理人员终端，可使管理人员提早获知物体异常，缩短解决物体异常的时间，节约成本。

附图说明

图1是本申请中多媒体分析系统一些实施例的示意图。

图2是本申请中多媒体分析方法一些实施例的流程图。

图3是图2中步骤A的一些实施例的流程图。

图4是图2中步骤B的一些实施例的流程图。

如下具体实施方式将结合上述附图进一步说明本申请。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当一个元件或组件被认为是“连接”另一个元件或组件，它可以是直接连接到另一个元件或组件或者可能同时存在居中设置的元件或组件。当一个元件或组件被认为是“设置在”另一个元件或组件，它可以是直接设置在另一个元件或组件上或者可能同时存在居中设置的元件或组件。

除非另有定义，本申请所使用的所有的技术及科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本申请所使用的术语“及/或”包含一个或多个相关的所列项目的任意的及所有的组合。

本申请的各种实施方式可采取完全或部分硬件实施方式、完全或部分软件实施方式、或软件与硬件的组合(例如，固件实施方式)的形式。此外，如这里所描述的，本申请的各种实施方式(例如，系统和方法)可以采取计算机程序产品的形式，该计算机程序产品包含具有比如计算机软件的计算机可访问指令(例如，计算机可读和/或计算机可执行指令)的计算机可读非暂时性存储介质，该计算机可访问指令被编码或被实施在这种存储介质中。

这些指令可由一个或多个处理器读取或存取和执行以执行或允许执行本申请描述的操作。指令可以以任何合适的形式提供，例如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、汇编码、前述的组合等。可以使用任何合适的计算机可读非暂时性存储介质来形成计算机程序产品。例如，计算机可读介质可以包含任何有形的非暂时性介质，用于以可由与其功能性耦接的一个或多个计算机或处理器读取或以其他方式可访问的形式存储信息。非暂时性存储介质可以被实施为或可以包含ROM；RAM；磁盘存储介质；光学存储介质；闪存等。

这里参考方法、系统、设备和计算机程序产品的框图和流程图来描述操作环境和技术的至少一些实施方式。可以理解，框图和流程图中的每个框以及框图和流程图中的框的组合可以分别由计算机可访问指令来实现。在某些实现方式中，可以将计算机可访问指令加载或并入通用计算机、专用计算机或其他可编程信息处理设备中以产生特定机器，使得可以响应于在计算机或处理设备处的执行来实现在一个或多个流程图块中指定的操作或功能。

除非另有明确示出，否则本申请提出的任何方案、程序、过程或技术绝不应解释为要求以特定顺序执行其动作或步骤。因此，当过程或方法权利要求实际上没有记载其动作或步骤遵循的顺序时，或者在本主题公开的权利要求或描述中没有另外具体记载步骤将被限于特定顺序时，绝不意味着在任何方面推断顺序。这适用于解释的任何可能的非明确基础，包含：关于步骤或操作流程的布置的逻辑事项；源于语法组织或标点符号的平常意义；在说明书或附图等中描述的实施方式的数量或类型。

如本申请中所使用，术语“环境”、“系统”、“引擎”、“模块”、“构件”、“架构”、“接口”、“单元”等指代计算机相关实体或与具有一个或多个限定功能性的操作设备相关的实体。术语“环境”、“系统”、“引擎”、“模块”、“构件”、“架构”、“接口”和“单元”可以互换使用，并且一般可以指功能元件。这样的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，模块可以被实施为处理器上运行的进程、处理器、对象、软件的可执行部分、执行线程、程序和/或计算装置。又例如，在计算装置上执行的软件应用程序和计算装置都可以实施为模块。又例如，一个或多个模块可驻留在进程和/或执行线程内。模块可以位于一个计算装置上或分布在两个或多个计算装置之间。如本申请所公开，模块可从其上存储有各种数据结构的各种计算机可读非暂时性存储媒体执行。模块可以经由本地和/或远程进程根据例如，具有一个或多个数据包(例如，来自与本地系统、分布式系统中的另一构件交互的构件的数据，和 /或来自与在例如具有其它系统的广域网上的另一构件经由信号交互的构件的数据)的信号(模拟的或数字的)进行通信。

又例如，模块可以被实施为或可以包含具有由机械部件提供的限定功能的设备，机械部件由电路或电子电路操作，电路或电子电路由软件应用或由处理器执行的固件应用控制。这种处理器可以在设备内部或外部，并且可以执行软件或固件应用的至少一部分。又例如，模块可以被实施为或者可以包含通过没有机械部件的电子部件提供限定功能的设备。电子部件可包含处理器以执行软件或固件，软件或固件允许或至少部分地促进电子部件的功能性。

在一些实施方式中，模块可以经由本地和/或远程进程根据例如，具有一个或多个数据包(例如，来自与本地系统、分布式系统中的另一构件交互的构件的数据，和/或来自与在例如具有其它系统的广域网上的另一构件经由信号交互的构件的数据)的信号(模拟或数字)进行通信。另外，或在其他实施方式中，模块可通过热、机械、电和/或机电耦接机构(例如，导管、连接器、其组合等)通信或以其他方式耦接。接口可包含输入/输出(Input/Output，I/O)构件以及相关联的处理器、应用程序和/或其他编程构件。

如本申请中所使用的，术语“处理器”可以指任何类型的处理电路或设备。处理器可被实现为处理电路或计算处理单元(例如，(Central Processing Unit， CPU)、(Graphics Processing Unit，GPU)或两者的组合)的组合。因此，为了描述目的，处理器可以指单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行处理(或计算)平台；以及具有分布式共享存储器的并行计算平台。另外，或又例如，处理器可指集成电路(IntegratedCircuit，IC)、专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器 (Digital Signal Processor，DSP)、现场可编程门阵列(Field ProgrammableGate Array，FPGA)、可编程逻辑控制器(Programmable Logic Controller，PLC)、复杂可编程逻辑设备(Complex Programmable Logic Device，CPLD)、离散门电路或晶体管逻辑、离散硬件构件、或其被设计或配置(例如，制造)以执行在此描述的功能的任何组合。在一些实施方式中，处理器可以使用纳米级架构，为了优化空间使用或增强根据本申请的系统、设备或其他电子设备的性能。例如，处理器可以包含分子晶体管和/或基于量子点的晶体管、开关和门电路。

此外，在本说明书和附图中，比如“存储”、“存储器”、“数据存储”、“数据存储器”、“存储器”、“存储库”等术语以及与本申请的部件的操作和功能相关的基本上任何其他信息存储构件是指存储器构件、实施在一个或多个存储器设备中的实体，或形成存储器设备的构件。应注意，本申请所描述的存储器构件或存储器设备实施或包含可由计算装置读取或存取的非暂时性计算机存储媒体。这样的介质可以以用于存储信息的任何方法或技术来实现，比如机器可访问指令(例如，计算机可读指令)、信息结构、程序模块或其他信息对象。

此外，在本说明书和附图中，比如“存储”、“存储器”、“数据存储”、“数据存储器”、“存储器”、“存储库”等术语以及与本申请的部件的操作和功能相关的基本上任何其他信息存储构件是指存储器构件、实施在一个或多个存储器设备中的实体，或形成存储器设备的构件。存储器构件或存储器设备可被实施为易失性存储器或非易失性存储器，或可包含易失性和非易失性存储器两者。此外，存储器部件或存储器设备可以是可移动的或不可移动的，和/或在计算装置或部件的内部或外部。各种类型的非暂时性存储介质的实例可以包含硬盘驱动器、zip驱动器、CD-ROM、数字多用盘(Digital Video Disc，DVD) 或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备、闪存卡或其他类型的存储卡、盒式磁带或适于保留所需信息并可由计算装置访问的任何其他非暂时性介质。例如，非易失性存储器可包含只读存储器(Read-Only Memory， ROM)、可编程ROM(Programmable Read-Only Memory，PROM)、电可编程 ROM(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程 ROM(Electrically Erasable Programmable Read-Only Memory，EEPROM)或快闪存储器。易失性存储器可以包含用作外部缓冲存储器的随机存取存储器 (Random AccessMemory，RAM)。作为说明而非限制，RAM具有多种形式，例如，同步RAM(Static RandomAccess Memory，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(Synchronous Dynamic Random Access Memory，SDRAM)、双数据速率SDRAM(Double DataRate Synchronous Dynamic Random Access Memory，DDR SDRAM)、增强型SDRAM(EnhancedSynchronous DRAM，ESDRAM)、同步链路DRAM(Sync Link DRAM， SLDRAM)和直接Rambus RAM(Direct Rambus RAM，DRRAM)。在此描述的操作或计算环境的所公开的存储器设备或存储器旨在包含这些和/或任何其他合适类型的存储器之一或多个。

除非另外具体说明或在所使用的背景中另外理解，比如“可以”、“能够”、“可能”或“可”等条件语言通常旨在传达某些实现可以包含某些特征、元件和/ 或操作，而其他实现方式不包含。因此，这种条件语言通常不旨在暗示特征、元件和/或操作以任何方式对于一个或多个实现方式是必需的，或者一个或多个实现方式必须包含用于在有或没有用户输入或提示的情况下决定这些特征、元件和/或操作是否被包含或将在任何特定实现方式中执行的逻辑。

本申请的计算机可读程序指令可经由网络(例如，因特网、局域网、广域网和/或无线网络)从计算机可读存储介质或外部计算机或外部存储设备下载到相应的计算/处理设备。网络可以包含铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令以存储在相应计算/处理设备内的计算机可读非暂时性存储介质中。

在本申请的说明书和附图中不可能出于描述本申请的各种元件的目的而描述部件和/或方法的每一可能组合，但是所公开元件的许多其它组合和排列是可能的。因此，很明显，在不脱离本申请的范围或精神的情况下，可以对本申请进行各种修改。此外，或者作为替代，通过考虑说明书和附图以及如本申请所呈现的本申请的实践，本申请的其他实施方式可以是显而易见的。在说明书和附图中提出的实例在所有方面都被认为是说明性的而非限制性的。尽管这里采用了限定的术语，但是它们仅用于一般的和描述性的意义，而不是用于限制的目的。

参见图1，在一些实施例中，多媒体分析系统10包括多媒体分析装置100 和一个或多个终端150，多媒体分析装置100配合一个或多个终端150可对一个或多个物体20的图像进行分析，针对不同的分析结果，发送不同的解决方案给用户终端。

具体地，多媒体分析装置100存储物体20的初始标签和初始图像作为物体20的第一标签信息和第一图像信息，终端150获取物体20的特定时间点的标签信息和图像信息作为第二标签信息和第二图像信息，多媒体分析装置 100分析判断第一标签信息和第二标签信息的符合度，以及分析判断第一图像信息和第二图像信息的图像信息符合度X，根据不同的判断结果，发送不同的解决方案给用户终端。

需要说明的是此处提到的“用户终端”可以是物体管理人员终端152，维护管理人员终端154和维护人员终端156中的一个或多个。物体管理人员终端 152、维护管理人员终端154和维护人员终端156可以独立的选自个人便携式电脑，手机，掌上电脑等适于用户使用的终端中的至少一种，具体依实际情况选用。物体管理人员终端152、维护管理人员终端154和维护人员终端156 与多媒体分析装置100通过第一通信链路130实现数据读取，数据存储等操作。在一些实施例中，第一通信链路130可为WiFi，蓝牙，红外，数据传输线，NFC等通信方式中的至少一种。需要说明的是终端150和物体管理人员终端152、维护管理人员终端154以及维护人员终端156可相同或不同，以实际需要设定，此处仅为方便说明各个功能，而对其标注不同标号。

需要说明的是，上述特定时间点可以是物体20工作1小时的时刻，物体 20可为设备，在设备工作1小时的时间点，设备的初始标签作为第一标签信息，设备的拍摄标签作为第二标签信息，设备的初始图像作为第一图像信息，设备的拍摄图像作为第二图像信息，分析设备的拍摄标签与初始标签的符合度，以及设备的拍摄图像与初始图像的符合度，来判断该设备的状态。在一些实施例中，上述特定时间点，也可以是物体20放置一年的时刻，物体20可为办公用打印机，在打印机放置一年后，对打印机进行资产盘点，打印机的初始标签作为第一标签信息，打印机的拍摄标签作为第二标签信息，打印机的初始图像作为第一图像信息，打印机的拍摄图像作为第二图像信息，分析打印机的拍摄标签与初始标签的符合度，以及打印机的拍摄图像与初始图像的符合度，从而判断该打印机在盘点时刻是否有损毁或挪动，从而根据判断结果推荐不同的解决方案给用户终端。

在一些实施例中，多媒体分析装置100可为台式计算机，个人便携式计算机或手持式计算设备中的一种。在另一些实施例中，多媒体分析装置100还可为其他类型的移动计算装置或非移动计算装置。在一些实施例中，终端150 可为便携式电子设备，比如手机，智能手表，平板电脑等。终端150与多媒体分析装置100通过第一通信链路130实现数据读取，数据存储等操作。在一些实施例中，第一通信链路130可为WiFi，蓝牙，红外，数据传输线，NFC等通信方式中的至少一种。

在一些实施例中终端150具有拍照和/或摄像功能，可以用于获取物体20 的第二图像信息比如照片或视频。可以理解的是，上述照片不限于一张，可能是物体20不同角度拍摄的多张照片。上述视频不限于一段，可能是物体20 不同拍摄方式的多段视频。在一些实施例中，为了保证获得的第二图像信息的一致性，在拍摄时需要遵循一定的拍摄规则，拍摄规则具体可以是在特定角度，特定高度，特定地点，特定移动速度以及规定最开始拍摄点和停止拍摄点等。

在一些实施例中，终端150与物体20可选择地通过第二通信链路132实现数据的读取及数据存储等操作。在一些实施例中，第二通信链路132为WiFi，蓝牙，红外，数据传输线，NFC等通信方式中的至少一种。比如终端150通过NFC标签与物体20进行通信。在一些实施例中，终端150与物体20之间可能不存在通信即没有第二通信链路132，比如终端150对物体20拍照，识别物体20上的标签信息，或者终端150调用内置程序通过扫描二维码或条形码的方式识别物体20的标签信息。

在一些实施例中，多媒体分析装置100，可包括存储器102，处理器104，通信接口106以及总线架构140。存储器120可用于存储一个或多个物体20 的初始标签信息和初始图像信息。通信接口106可用于与一个或多个终端150 通信，总线架构140用于耦接多媒体分析装置100的各个功能元件，例如处理器104可通过总线140耦接存储器102以及通信接口106。总线架构140包括系统总线、存储器总线、地址总线或消息总线中的至少一种，并且可以允许或便于在处理器104、通信接口106和/或存储器102或总线架构140中相应功能元件之间交换信息(数据、元数据和/或信令)。

在一些实施例中，通信接口106用于多媒体分析装置100与外部设备(例如终端150或另一计算装置)之间的信息通信。这种通信包括直接通信或间接通信，比如经由网络或其他元件实现多媒体分析装置100和外部设备之间信息的交换。

参见图1，存储器102包括功能指令存储器116和功能信息存储器120。在一些实施例中，功能指令存储器116包含计算机可存取指令，处理器104通过执行计算机可存取指令来实现本申请的比对功能、推荐方案功能以及发送提示信息的功能等功能。在一些实施例中，计算机可访问指令可为比对模块 118的一个或多个构件。

在一些实施例中，执行比对模块118的处理器104可从功能信息存储器 120中的比对信息122检索信息或将信息保留在比对信息122中，以便操作对比模块118编程或配置的功能。比对信息120中的信息包括代码指令，数据信息等中的至少一个。例如存储物体20的历史数据(比如物体20的第一标签信息及第一图像信息)。

在一些实施例中，存储器102包括允许或促进多媒体分析装置100的操作和/或管理(例如，升级、软件安装、任何其他配置等)的计算机可访问指令和信息(例如，数据、元数据和/或编程代码指令)。

在一些实施例中，终端150可以存储第二标签信息及第二图像信息，在通信方式许可时，或时机合适时再将第二标签信息及第二图像信息传送给通信接口106。具体地，终端150在离线情况下，先将第二标签信息及第二图像信息存储在终端150的内置存储器中，在第一通信链路130可用时，再将第二标签信息及第二图像信息通过第一通信链路130传送给通信接口106。

在一些实施例中，物体20可为设备，终端150可为监控摄像头，场景可为该设备生产过程中对设备状态的监控。存储器102的比对信息122中提前存储设备的初始二维码和初始图像作为第一标签信息和第一图像信息。多媒体分析系统根据预设时间采集监控摄像头拍摄到的拍摄二维码和拍摄图像作为第二标签信息和第二图像信息，监控摄像头通过网线将拍摄二维码和拍摄图像传送给通信接口106，通信接口106将设备二维码和设备图像传送到存储器102，处理器104调用存储在比对信息122中的初始二维码和初始图像，然后，处理器104调用比对模块118中的程序代码，从而执行比对判断初始二维码和拍摄二维码是否相同。需要说明的是通信接口106与终端150之间的通信通过第一通信链路130而实现，通信接口106与用户终端之间的通信通过第一通信链路130而实现。为方便说明，在一些实施例中会省略描述第一通信链路130，而仅说明通信接口106发送信息给终端150或给用户终端。

当判断结果是两者相同，则处理器104再次调用比对模块118中的程序代码，从而执行比对判断初始图像与拍摄图像的图像信息符合度X是否满足第二阈值≤X＜第一阈值，当判断结果是符合度X满足第二阈值≤X＜第一阈值，则处理器104通过通信接口106推荐设备更换或维修方案给物体管理人员终端152，需要说明的是物体管理人员终端在本实施例中也可为设备管理人员终端。处理器104通过通信接口106接收来自物体管理人员终端152反馈的是否采纳推荐方案的信息，当处理器104接收的信息是采纳推荐方案，则处理器104再次调用比对模块118中的程序代码，从而执行比对判断设备管理人员采纳的方案是否是设备更换方案，当处理器104的判断结果是更换方案，则处理器104通过通信接口106发送设备更换需求任务和维护人员信息给维护管理人员终端154。处理器104通过通信接口106接收来自维护管理人员终端154反馈的维护人员信息，处理器104通过通信接口106发送对应的设备更换需求任务给对应的维护人员终端156。可以理解的是，处理器104在通过通信接口106发送信息给设备管理人员终端152、维护管理人员终端154以及维护人员终端152时，可采用发送邮件，发送短信，发送短消息以及任何可以使用户获知处理器104发送的信息中的任一种或几种的组合。

需要说明的是处理器104通过通信接口106在接收信息或发送信息时的具体步骤是处理器104产生信息指令，通信接口106收到信息指令，通信接口106通过第一通信链路130与终端150进行通信，实现发送信息的任务；在一些实施例中，为方便说明，省略处理器104产生指令，通信接口106接收指令，通信接口106通过第一通信链路130与终端150通信的步骤，简化为处理器104通过通信接口106发送或接收信息给终端150。

在一些实施例中，当处理器104对物体管理人员终端152反馈的采纳方案的判断结果不是更换方案时，则处理器104通过通信接口106发送设备维修需求任务和维护人员信息给维护管理人员终端154。处理器104通过通信接口106接收来自维护管理人员终端154反馈的维护人员信息，处理器104通过通信接口106发送对应的设备维修需求任务给对应的维护人员终端156。

在一些实施例中，当处理器104判断初始二维码和拍摄二维码不同时，处理器104通过通信接口106发送标签核查解决方案给物体管理人员终端152。处理器104通过通信接口106接收来自物体管理人员终端152反馈的标签核查方案的类型，当处理104接收到的反馈的标签核查方案的类型是初始二维码错误(即第一标签错误)或拍摄二维码错误(即第二标签错误)时，处理器 104通过通信接口106发送标签更换任务和维护人员信息给维护管理人员终端154。处理器104通过通信接口106接收来自维护管理人员终端154反馈的维护人员信息。处理器104通过通信接口106发送对应的标签更换任务给维护人员终端156。

在一些实施例中，当处理器104判断初始二维码和拍摄二维码不同时，处理器104通过通信接口106发送标签核查解决方案给物体管理人员终端152，处理器104通过通信接口106接收来自物体管理人员终端152反馈的标签核查方案的类型，当处理104接收到的反馈的标签核查方案的类型不是初始二维码错误(即第一标签错误)也不是拍摄二维码错误(即第二标签错误)时，处理器104通过通信接口106发送现场确认提示给物体管理人员终端152，请物体管理人员现场处理确认。

在一些实施例中，当处理器104判断初始图像与拍摄图像的图像信息符合度X满足X≥第一阈值，处理器104通过通信接口106发送设备正常提示给物体管理人员终端152。

在一些实施例中，当处理器104判断初始图像与拍摄图像的图像信息符合度X满足X＜第二阈值，处理器104调用比对模块118中的程序代码，从而执行比对判断拍摄图像是否对应第三标签信息，当处理器104的判断结果是不对应第三标签信息，则处理器104通过通信接口106发送现场确认提示给物体管理人员终端152。

当处理器104的判断结果是拍摄图像对应第三标签信息，则处理器104通过通信接口106发送标签更换解决方案给物体管理人员终端152。处理器104 通过通信接口106接收来自物体管理人员终端152反馈的标签更换解决方案为将初始二维码更换为第三标签，处理器104通过通信接口106发送标签更换任务和维护人员信息给维护管理人员终端154。处理器104通过通信接口 106接收维护管理人员终端154反馈的维护人员信息。处理器104通过通信接口106发送对应的标签更换任务给对应的维护人员终端156。需要说明的是第三标签有可能是存储器102存储的另一初始标签，由于系统录入数据匹配错误，导致初始标签跟初始图像的不匹配，从而需要将错误的初始标签更换为正确的初始标签，从而解决问题。

在一些实施例中，当处理器104接收来自物体管理人员终端152反馈的是不采纳推荐方案的信息，处理器104通过通信接口106发送设备预警提示给物体管理人员终端152。在一些实施例中，处理器104判断设备预警提示的次数是否超过预定数值，当判断结果是设备预警提示的次数超过预定数值，则会将设备预警提示上发到该物体管理人员终端152的上一级主管终端，请上一级主管确定是否需要现场确认设备状态。当判断结果是设备预警提示的次数未超过预定数值，则设备预警提示次数的计数增加1。预定数值可以是≥1 的正整数，依实际需要设定，比如可以是5次。

在一些实施例中，处理器104在判断初始图像与拍摄图像的图像信息符合度X时，这些判断包括判断图像中的位置信息、物体主体信息、背景信息及视频信息中的至少一种。需要说明的是，位置信息是指物体20在特定环境中的位置标签，比如二厂区三楼M区001号。在一些实施例中，物体主体信息和背景信息是指图像中的设备主体和除设备主体外的背景信息，剥离出物体主体信息和背景信息，可根据需要在某些实施例中仅对比主体信息，减少处理器104比对判断的工作量，从而提高比对判断的效率，同时仅对比物体主体信息，则更聚焦，也可减少背景信息带来的噪音，从而提高图像信息符合度X的精确度。初始图像和拍摄的图像信息也可以是视频信息，比如可以是初始视频和拍摄视频，由于视频信息中包含很多帧的照片，所以使用视频信息进行比对，会相应提高图像信息符合度X的精确度，但视频信息在拍摄以及比对时均需要有一定的拍摄规则，以方便比对。

在一些实施例中，由于初始视频和拍摄视频均包括复数帧个图片，处理器 104比对并判断初始视频和拍摄视频中的每个对应帧图片的符合度，处理器 104在对比前，需要找到拍摄视频中最开始要比对的那帧图片，然后从拍摄视频中最开始的那帧图片开始与初始视频中对应帧的图片进行比对。找到最开始的那帧图片可以从拍摄视频拍摄时的标准位置或者标准角度等参照物来确定。假设最开始的那帧图片作为第一张图片，其符合度定义为X1，后续图片的符合度定义为X2，X3，X4…Xn，则各帧图片的累积符合度 Xt＝(X1+X2+X3+X4+…+Xn)/n。需要说明的是在初始图像和拍摄图像是视频时，初始图像和拍摄图像的信息符合度X可为初始视频和拍摄视频的累积符合度Xt。

在一些实施例中，初始视频和拍摄视频并非每帧图片都进行比对判断，若视频很长时，逐一每帧都进行比对可能会使比对判断的时间过长，通过调整判断方式，比如只在指定时间段进行比对判断，具体地，将拍摄视频划分出多个时间段，多个时间段之间是非连续的。假设拍摄视频的时长为10分钟，可划分三个时间段，第一时间段可为：起始点～第1分钟，第二时间段可为：第5分钟～第6分钟，第三时间段可为：第8分钟～第9分钟。对应的初始视频也相应划分出三个时间段，仅对三个时间段内的每帧图片进行判断，从而缩短整个判断时间。

在一些实施例中采集监控摄像头的拍摄图像的预设时间可以是1小时。可以理解的是初始图像和拍摄图像的图像信息符合度X在判断时涉及的第一阈值和第二阈值为设定值，比如可以是90％，80％等值，第一阈值通常大于第二阈值，依实际设定。设备正常提示可以是“设备正常”的字幕，也可以是声音，光或其他能提示用户的形式。

在一些实施例中，物体20是自动贩卖机，终端为监控摄像头，与物体20 是生产设备的实施例不同的是，场景可为自动贩卖机运行24小时后判断该自动贩卖机的状态，物体管理人员可以是该自动贩卖机的拥有者，维护管理人员可以是该自动贩卖机的生产商。由于自动贩卖机大部分的故障在于使用该自动贩卖机的消费者支付后，自动贩卖机未把目标商品放入指定位置，故在图像信息符合度X的比对时，第一图像信息和第二图像信息使用视频信息的比对就可以清晰识别这种故障，并推荐解决方案给该自动贩卖机的拥有者。

本申请还提供一种多媒体分析方法，具体参见图2至图4，为了方便说明，请一并参考图1，多媒体装置100包括存储器102，存储器102存储该设备的初始标签信息及初始图像信息作为第一标签信息和第一图像信息，监控摄像头拍摄的拍摄二维码和拍摄图像作为第二标签信息和第二图像信息；以物体 20是生产设备，终端150是监控摄像头为例进行说明，场景可为生产设备运行1小时后判断该生产设备的，使用多媒体分析装置100的多媒体分析方法来分析该生产设备的状态，以及根据不同的判断结果，推荐解决方案和/或给出提示信息给相应的用户终端。通信接口106接收来自监控摄像头通过网线传送的拍摄二维码和拍摄图像，即步骤S201；通信接口106将设备二维码和设备图像传送到存储器102，处理器104调用存储在比对信息122中的初始二维码和初始图像，然后，处理器104调用比对模块118中的程序代码，从而执行比对判断初始二维码和拍摄二维码是否相同，即步骤S203。

当判断结果是两者相同，则处理器104再次调用比对模块118中的程序代码，从而执行比对判断初始图像与拍摄图像的图像信息符合度X是否满足第二阈值≤X＜第一阈值，即步骤S205。当判断结果是符合度X满足第二阈值≤X＜第一阈值，则处理器104通过通信接口106推荐设备更换或维修方案给物体管理人员终端152。需要说明的是在一些实施例中物体管理人员终端可对应设备管理人员终端。处理器104通过通信接口106接收来自物体管理人员终端152的反馈，并判断相应的反馈是否是采纳推荐方案的信息，即步骤 S207。当处理器104接收的反馈信息是采纳推荐方案，则处理器104再次调用比对模块118中的程序代码，从而执行比对判断采纳的方案是否是设备更换方案，即步骤S209。当处理器104的判断结果是更换方案，则处理器104 通过通信接口106发送设备更换需求任务和维护人员信息给维护管理人员终端154，即步骤S211。处理器104通过通信接口106接收来自维护管理人员终端154反馈的维护人员信息，即步骤S213。处理器104通过通信接口106 发送对应的设备更换需求任务给对应的维护人员终端156，即步骤S215。可以理解的是，处理器104在通过通信接口106发送信息给物体管理人员终端 152、维护管理人员终端154以及维护人员终端156时，可采用发送邮件，发送短信，发送短消息以及任何可以使用户获知处理器104发送的信息中的任一种或几种的组合。

在一些实施例中，请一并参考图1和图2，当处理器104对物体管理人员终端152反馈的采纳方案的判断结果不是更换方案时，则处理器104通过通信接口106发送设备维修需求任务和维护人员信息给维护管理人员终端154，即步骤S217。处理器104通过通信接口106接收来自维护管理人员终端154 反馈的维护人员信息，即步骤S219。处理器104通过通信接口发送对应的设备维修需求任务给对应的维护人员终端156，即步骤S221。

在一些实施例中，请一并参考图1和图3，当处理器104判断初始二维码和拍摄二维码不同时，处理器104通过通信接口106发送标签核查解决方案给物体管理人员终端152。处理器104通过通信接口106接收来自物体管理人员终端152反馈的标签核查方案的类型是否是初始二维码错误(即第一标签错误)或拍摄二维码错误(即第二标签错误)，即步骤S301。当处理104接收到的反馈的标签核查方案的类型是初始二维码错误(即第一标签错误)或拍摄二维码错误(即第二标签错误)时，处理器104通过通信接口106发送标签更换任务和维护人员信息给维护管理人员终端154，即步骤S303。处理器104通过通信接口106接收来自维护管理人员终端154反馈的维护人员信息，即步骤S305。处理器104通过通信接口106发送对应的标签更换任务给对应的维护人员终端156，即步骤S307。

在一些实施例中，请一并参考图1和图3，当处理器104判断初始二维码和拍摄二维码不同时，处理器104通过通信接口106发送标签核查解决方案给物体管理人员终端152，处理器104通过通信接口106接收来自物体管理人员终端152反馈的标签核查方案的类型是否是初始二维码错误(即第一标签错误)或者拍摄二维码错误(即第二标签错误)，即步骤S301。当处理104 接收到的确认的标签核查方案的类型不是初始二维码错误(即第一标签错误) 也不是拍摄二维码错误(即第二标签错误)时，处理器104通过通信接口106 发送现场确认提示给物体管理人员终端152，即步骤S309，请物体管理人员现场处理确认。

在一些实施例中，请一并参考图1和图2当处理器104判断初始图像与拍摄图像的图像信息符合度X是否满足第二阈值≤X＜第一阈值，即步骤S205。当处理器104判断初始图像与拍摄图像的图像信息符合度不满足第二阈值≤X ＜第一阈值时，处理器104再次判断初始图像与拍摄图像的图像信息符合度 X是否满足X≥第一阈值，即步骤S233。当处理器104判断初始图像与拍摄图像的图像信息符合度X满足X≥第一阈值，处理器104通过通信接口106发送设备正常提示给物体管理人员终端152，即步骤S235。需要说明的是步骤S205 和步骤S233先后次序可以调换，比如可以先进行步骤S233，再进行步骤S205。在一些实施例中，步骤S205和步骤S233也可同时进行。

在一些实施例中，请一并参考图1，图2和图4处理器104再次判断初始图像与拍摄图像的图像信息符合度X是否满足X≥第一阈值，即步骤S227。当处理器104判断初始图像与拍摄图像的图像信息符合度X不满足X＜第二阈值，处理器104调用比对模块118中的程序代码，从而执行比对判断拍摄图像是否对应第三标签信息，即步骤S401。当处理器104的判断结果是不对应第三标签信息，则处理器104通过通信接口106发送现场确认提示给物体管理人员终端152，即步骤S403。

在一些实施例中，请一并参考图1和图4，处理器104判断拍摄图像是否对应第三标签信息，即步骤S401，当处理器104的判断结果是拍摄图像对应第三标签信息，则处理器104通过通信接口106发送标签更换解决方案给物体管理人员终端152，即步骤S405。处理器104通过通信接口106接收来自物体管理人员终端152反馈的标签更换解决方案为将初始二维码更换为第三标签，即步骤S407。处理器104通过通信接口106发送标签更换任务和维护人员信息给维护管理人员终端154，即步骤S409。处理器104通过通信接口 106接收维护管理人员终端154反馈的维护人员信息，即步骤S411。处理器 104通过通信接口106发送对应的标签更换任务给对应的维护人员终端156，即步骤S413。需要说明的是第三标签有可能是存储器102存储的另一初始标签，由于系统录入数据匹配错误，导致初始标签跟初始图像的不匹配，从而需要将错误的初始标签更换为正确的初始标签，从而解决问题。

在一些实施例中，请一并参见图1和图2，处理器推荐物体更换或维修方案给物体管理人员终端152，并判断物体管理人员终端152反馈的是否是采纳推荐方案，即步骤S207。当处理器104接收来自物体管理人员终端152反馈的是不采纳推荐方案的信息，处理器104通过通信接口106发送设备预警提示给物体管理人员终端152，即步骤S223。在一些实施例中，处理器104 判断设备预警提示的次数是否超过预定数值，即步骤S227。当判断结果是设备预警提示的次数超过预定数值，则会将设备预警提示上发到该设备管理人员终端的上一级主管终端，请上一级主管确定是否需要现场确认设备状态，即步骤S229。当判断结果是设备预警提示的次数未超过预定数值，则设备预警提示次数的计数增加1，即步骤S231。预定数值可以是≥1的正整数，依实际需要设定，比如可以是5次。

在一些实施例中，处理器104在判断初始图像与拍摄图像的图像信息符合度X时，这些判断包括判断图像中的位置信息、物体主体信息、背景信息及视频信息中的至少一种。需要说明的是，位置信息是指物体20在特定环境中的位置标签，比如二厂区三楼M区001号。在一些实施例中，物体主体信息和背景信息是指图像中的设备主体和除设备主体外的背景信息，剥离出物体主体信息和背景信息，可根据需要在某些实施例中仅对比主体信息，减少处理器104比对判断的工作量，从而提高比对判断的效率，同时仅对比物体主体信息，则更聚焦，也可减少背景信息带来的噪音，从而提高图像信息符合度X的精确度。初始图像和拍摄的图像信息也可以是视频信息，比如可以是初始视频和拍摄视频，由于视频信息中包含很多帧的照片，所以使用视频信息进行比对，会相应提高图像信息符合度X的精确度，但视频信息在拍摄以及比对时均需要有一定的拍摄规则，以方便比对。

在一些实施例中，由于初始视频和拍摄视频均包括复数帧个图片，处理器 104比对并判断初始视频和拍摄视频中的每个对应帧图片的符合度，处理器104在对比前，需要找到拍摄视频中最开始要比对的那帧图片，然后从拍摄视频中最开始的那帧图片开始与初始视频中对应帧的图片进行比对。找到最开始的那帧图片可以从拍摄视频拍摄时的标准位置或者标准角度等参照物来确定。假设最开始的那帧图片作为第一张图片，其符合度定义为X1，后续图片的符合度定义为X2，X3，X4…Xn，则各帧图片的累积符合度 Xt＝(X1+X2+X3+X4+…+Xn)/n。需要说明的是在初始图像和拍摄图像是视频时，初始图像和拍摄图像的信息符合度X可为初始视频和拍摄视频的累积符合度Xt。

在一些实施例中，初始视频和拍摄视频并非每帧图片都进行比对判断，若视频很长时，逐一每帧都进行比对可能会使比对判断的时间过长，通过调整判断方式，比如只在指定时间段进行比对判断，具体地，将拍摄视频划分出多个时间段，多个时间段之间是非连续的。假设拍摄视频的时长为10分钟，可划分三个时间段，第一时间段可为：起始点～第1分钟，第二时间段可为：第5分钟～第6分钟，第三时间段可为：第8分钟～第9分钟。对应的初始视频也相应划分出三个时间段，仅对三个时间段内的每帧图片进行判断，从而缩短整个判断时间。

在一些实施例中采集监控摄像头的拍摄图像的预设时间可以是1小时。可以理解的是初始图像和拍摄图像的图像信息符合度X在判断时涉及的第一阈值和第二阈值为设定值，比如可以是90％，80％等值，第一阈值通常大于第二阈值，依实际设定。设备正常提示可以是“设备正常”的字幕，也可以是声音，光或其他能提示用户的形式。

在一些实施例中，物体20是自动贩卖机，终端为监控摄像头，与物体20 是生产设备的实施例不同的是，场景可为自动贩卖机运行24小时后判断该自动贩卖机的状态，物体管理人员可以是该自动贩卖机的拥有者，维护管理人员可以是该自动贩卖机的生产商。由于自动贩卖机大部分的故障在于使用该自动贩卖机的消费者支付后，自动贩卖机未把目标商品放入指定位置，故在图像信息符合度X的比对时，第一图像信息和第二图像信息使用视频信息的比对就可以清晰识别这种故障，并推荐解决方案给该自动贩卖机的拥有者。

采用本申请提供的多媒体分析装置，多媒体分析系统及多媒体分析方法，通过比对物体标签，快速锁定对应物体，然后通过比对判断图像信息的符合度，实时监控物体的状态，并根据不同的符合度判断结果，产生对应的解决方案给管理人员，可提早获知物体异常，缩短解决物体异常的时间，节约成本。

可以理解的是，对于本领域的普通技术人员来说，可以根据本申请的技术构思做出其它各种相应的改变与变形，而所有这些改变与变形都应属于本申请权利要求的保护范围。