非法行为推定系统、非法行为推定方法及程序

摘要

本发明的非法行为推定系统(S)的物品信息获取机构(105)获取与物品相关的物品信息。标识特定机构(106)基于物品信息特定出物品的标识。分类特定机构(108)基于物品信息特定出物品的分类。推定机构(109)基于特定出的标识及特定出的分类，推定与物品相关的非法行为。

说明书

技术领域

本发明涉及一种非法行为推定系统、非法行为推定方法及程序。

背景技术

近年来，擅自使用著名品牌等的标识的非法物品流通已成为问题。在专利文献1中已知一种系统，该系统将记录着与物品相关的信息的标签安装在物品上，通过读取记录在标签上的信息来推定物品的非法行为。

背景技术文献

专利文献

专利文献1：日本专利特开2013-214314号公报

发明内容

[发明要解决的问题]

然而，在专利文献1的技术中，因为必须要读取物理安装在物品上的标签，所以无法推定例如在因特网上发布的物品的非法行为。

本发明是鉴于所述课题完成的，其目的在于提供一种例如不对物品物理安装标签或读取标签，而能够根据与物品相关的信息推定非法行为的非法行为推定系统、非法行为推定方法及程序。

[解决问题的技术手段]

为了解决所述课题，本发明的非法行为推定系统的特征在于包含：物品信息获取机构，获取与物品相关的物品信息；标识特定机构，基于所述物品信息特定出所述物品的标识；分类特定机构，基于所述物品信息特定出所述物品的分类；以及推定机构，基于所述特定出的标识及所述特定出的分类，推定与所述物品相关的非法行为。

本发明的非法行为推定方法的特征在于包含：物品信息获取步骤，获取与物品相关的物品信息；标识特定步骤，基于所述物品信息特定出所述物品的标识；分类特定步骤，基于所述物品信息特定出所述物品的分类；以及推定步骤，基于所述特定出的标识及所述特定出的分类，推定与所述物品相关的非法行为。

本发明的程序使计算机作为以下机构发挥功能：物品信息获取机构，获取与物品相关的物品信息；标识特定机构，基于所述物品信息特定出所述物品的标识；分类特定机构，基于所述物品信息特定出所述物品的分类；以及推定机构，基于所述特定出的标识及所述特定出的分类，推定与所述物品相关的非法行为。

根据本发明的一形态，其特征在于：所述物品信息包含示出所述物品的物品图像，所述标识特定机构基于所述物品图像特定出所述物品的标识。

根据本发明的一形态，其特征在于：所述非法行为推定系统还包含标识辨识器制作机构，该标识辨识器制作机构基于示出要辨识的标识的图像来制作标识辨识器，所述标识特定机构基于所述物品图像及所述标识辨识器，特定出所述物品的标识。

根据本发明的一形态，其特征在于：所述非法行为推定系统还包含检索机构，该检索机构将所述要辨识的标识设为查询，并在因特网上检索示出所述要辨识的标识的图像，所述标识辨识器制作机构基于所述检索到的图像来制作所述标识辨识器。

根据本发明的一形态，其特征在于：所述物品信息包含示出所述物品的物品图像，所述分类特定机构基于所述物品图像特定出所述物品的分类。

根据本发明的一形态，其特征在于：所述非法行为推定系统还包含分类辨识器制作机构，该分类辨识器制作机构基于示出要辨识的分类的被摄体的图像来制作分类辨识器，所述分类特定机构基于所述物品图像及所述分类辨识器，特定出所述物品的分类。

根据本发明的一形态，其特征在于：所述分类特定机构从预定的多个分类中特定出所述物品的分类，所述分类辨识器制作机构基于所述多个分类来制作所述分类辨识器。

根据本发明的一形态，其特征在于：所述标识特定机构基于所述物品图像特定出所述物品的标识，所述非法行为推定系统还包含位置信息获取机构，该位置信息获取机构获取所述物品图像中与所述特定出的标识的位置相关的位置信息，所述分类特定机构基于所述物品图像及所述位置信息，特定出所述物品的分类。

根据本发明的一形态，其特征在于：所述分类特定机构对所述物品图像中基于所述位置信息确定的部分实施加工，并基于实施该加工后的图像特定出所述物品的分类。

根据本发明的一形态，其特征在于：所述非法行为推定系统还包含特征值计算器制作机构，该特征值计算器制作机构制作计算语言特征值的特征值计算器，所述推定机构基于由所述特征值计算器算得的所述特定出的标识的特征值、及由所述特征值计算器算得的所述特定出的分类的特征值，推定与所述物品相关的非法行为。

根据本发明的一形态，其特征在于：所述特征值计算器制作机构基于正规物品的说明文制作所述特征值计算器。

根据本发明的一形态，其特征在于：所述非法行为推定系统还包含关联数据获取机构，该关联数据获取机构获取将多个标识的每一个与至少1个分类建立关联的关联数据，所述推定机构基于所述特定出的标识、所述特定出的分类及所述关联数据，推定与所述物品相关的非法行为。

根据本发明的一形态，其特征在于：所述物品为商品，所述物品信息是与所述商品相关的商品信息，所述标识特定机构基于所述商品信息特定出所述商品的标识，所述分类特定机构基于所述商品信息特定出所述商品的分类，所述推定机构推定与所述商品相关的非法行为。

[发明的效果]

根据本发明，不对物品物理安装标签或者读取标签，而能够根据与物品相关的信息推定非法行为。

附图说明

图1是表示非法行为推定系统的整体构成的图。

图2是表示正规物品的物品图像的图。

图3是表示非法物品的物品图像的图。

图4是表示利用非法行为推定系统实现的功能的一例的功能框图。

图5是表示物品数据库的数据存储例的图。

图6是表示标识图像数据库的数据存储例的图。

图7是表示分类图像数据库的数据存储例的图。

图8是表示对物品图像中的标识部分实施加工的情况的图。

图9是表示事先处理的一例的流程图。

图10是表示推定处理的一例的流程图。

图11是变化例(1)的功能框图。

图12是表示关联数据的数据存储例的图。

具体实施方式

[1.非法行为推定系统的整体构成]

以下，对本发明的非法行为推定系统的实施方式的例子进行说明。图1是表示非法行为推定系统的整体构成的图。如图1所示，非法行为推定系统S包含服务器10、用户终端20及管理员终端30，它们能够连接于因特网等网络N。此外，图1中，将服务器10、用户终端20及管理员终端30各示出1台，但它们也可以存在多台。

服务器10是服务器计算机。服务器10包含控制部11、存储部12及通讯部13。控制部11包含至少1个处理器。控制部11按照存储在存储部12中的程序或数据来执行处理。存储部12包含主存储部及辅助存储部。例如主存储部为RAM(Random Access Memory，随机存取存储器)等易失性存储器，辅助存储部为ROM(Read Only Memory只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，电子可擦可编程只读存储器)、闪存或硬盘等非易失性存储器。通讯部13是用于有线通讯或无线通讯的通讯接口，经由网络N进行数据通讯。

用户终端20是由用户操作的计算机。例如，用户终端20为手机(包含智能手机)、便携式信息终端(包含平板式计算机)或个人计算机等。在本实施方式中，用户终端20包含控制部21、存储部22、通讯部23、操作部24及显示部25。控制部21、存储部22及通讯部23的物理构成可分别与控制部11、存储部12及通讯部13相同。

操作部24是输入装置，例如为触摸面板或鼠标等指向装置、键盘、或者按钮等。操作部24将用户的操作内容传输到控制部21。显示部25例如为液晶显示部或有机EL(Electroluminescence，电致发光)显示部等。显示部25按照控制部21的指示来显示图像。

管理员终端30是由管理员操作的计算机。例如，管理员终端30为手机(包含智能手机)、便携式信息终端(包含平板式计算机)或个人计算机等。在本实施方式中，管理员终端30包含控制部31、存储部32、通讯部33、操作部34及显示部35。控制部31、存储部32、通讯部33、操作部34及显示部35的物理构成可分别与控制部21、存储部22、通讯部23、操作部24及显示部25相同。

此外，被描述为存储在存储部12、22、32中的程序及数据也可经由网络N供给。另外，以上所说明的各计算机的硬件构成不限于所述例子，能够应用各种硬件。例如，也可包含读取计算机可读的信息存储媒体的读取部(例如光盘驱动器或存储卡插槽)、或者用于与外部机器进行数据输入输出的输入输出部(例如USB(Universal Serial Bus，通用串行总线)端口)。例如，也可经由读取部或输入输出部向各计算机供给存储在信息存储媒体中的程序或数据。

[2.非法行为推定系统的概要]

在本实施方式中，以用户操作用户终端20对SNS(Social Network Site，社交网站)或公告栏等进行发表的情景为例，对非法行为推定系统S的处理进行说明。服务器10从管理员终端30接收到规定请求时，对用户的发表中所含的物品图像进行解析来特定出物品的标识与分类，并基于它们的组合推定与物品相关的非法行为。

物品图像是示出物品的图像。换句话说，物品图像是物品为被摄体的图像。物品图像中拍摄了物品。物品图像可以是由相机产生的拍摄图像本身，也可以是拍摄图像经加工后的图像。在本实施方式中，用户拍摄的物品的物品图像被上载到服务器10。

物品是带有标识的物体。换句话说，物品是物品图像中的被摄体。物品可以是交易对象，也可以不是交易对象。物品可以是任意物体，例如可为衣物、食品、家具、家电、文具、玩具、日用品或交通工具等。物品上可直接印刷标识，也可附着印有标识的薄片或布等物体。此外，物品不限于有形物，也可以是图像或动画等无形物。

标识是物品的识别信息。标识有时也被称为标志(logo)或标记。例如，标识包含商品名、制造商名、卖方名、品牌名、店铺名或附属组织名等字符串。例如还包含表示商品、制造商、卖方、品牌、店铺或附属组织等的图形。标识不限于文字及图形，例如可以是记号、立体形状、色彩或声音，也可以是它们的组合。标识可平面呈现，也可立体呈现。另外，标识可以是外观无特别变化的，也可以是外观发生变化的。例如，标识可以是譬如外观随着时间经过而发生变化的动画，也可以是譬如外观根据角度而发生变化的全息图。

分类是表示物品的种类或性质的信息。分类有时也被称为类型、品类、标签(label)、区分或属性。分类根据物品的用途等确定即可，例如物品属于预定的多个分类中的至少1个分类。物品可仅属于1个分类，也可属于多个分类。另外，分类可以分层级定义，也可以不分层级。

所谓与物品相关的非法行为，是指物品的标识与分类的组合不自然。换句话说，与物品相关的非法行为意指合法权利人所提供的物品中未考虑到的标识与分类的组合。例如，对有权使用标识的权利人未制造或未许可的分类的物品标注该权利人的标识就相当于与物品相关的非法行为。换句话说，对分类与正规物品分类不同的物品标注标识就相当于与物品相关的非法行为。

所谓与物品相关的非法行为的推定，可意指推定物品的标识与分类的组合不自然(例如只进行到判定物品的标识与分类的组合是否不自然的处理，而未进行到是否为非法物品的输出)，也可为还包含推定是否为非法物品的含义。

用户会发表正规物品的评价等，也会购买仿制品(盗版)等非法物品并发表评价等。如果进行非法物品的发表，就有可能对标识的合法权利人不利，或者给其它用户提供错误信息。因此，服务器10通过解析物品图像来推定是正规物品还是非法物品。

图2是表示正规物品的物品图像的图。此处，以鞋制造商对自家品牌的鞋标注星形标识m1并出售的情况为例进行说明。服务器10对用户所发表的物品图像I1进行解析，特定出标注在物品i1上的标识m1与物品i1的分类(此处为鞋)。下文将对它们的特定方法进行叙述。图2的例子中，因为鞋制造商的标识m1被标注在该鞋制造商所出售的鞋上，所以标识与物品的组合是自然(妥当)的组合。因此，服务器10推定出物品i1是正规物品而不是非法物品。

图3是表示非法物品的物品图像的图。此处，鞋制造商未曾出售过标有自家品牌的标识m1的杯子，也未曾以新奇物品的形式提供等。服务器10对用户所发表的物品图像I2进行解析，特定出标注在物品i2上的标识m1与物品i2的分类(此处为杯子)。因为鞋制造商未曾出售过标有标识m1的杯子，也未曾以新奇物品的形式提供等，所以它们是不自然的组合，很有可能是有恶意的人擅自借用标识而制成的仿制品等。因此，服务器10推定出物品i1为非法物品。

如上所述，本实施方式的非法行为推定系统S对物品图像进行解析来特定出标识与分类。如果它们的组合自然，非法行为推定系统S便推定物品图像所示的物品是正规物品。另一方面，如果它们的组合不自然，非法行为推定系统S便推定物品图像所示的物品是非法物品。由此，可减少管理员目测判断物品图像来推定非法行为的工夫。以下，对非法行为推定系统S的详细内容进行说明。

[3.非法行为推定系统所实现的功能]

图4是表示利用非法行为推定系统S实现的功能的一例的功能框图。如图4所示，在服务器10中，实现了数据存储部100、检索部101、标识辨识器制作部102、分类辨识器制作部103、特征值计算器制作部104、物品图像获取部105、标识特定部106、位置信息获取部107、分类特定部108及推定部109。

[3-1.数据存储部]

数据存储部100主要由存储部12实现。数据存储部100存储执行本实施方式中所说明的处理的必要数据。此处，作为由数据存储部100存储的数据的一例，对物品数据库DB1、标识图像数据库DB2及分类图像数据库DB3进行说明。

图5是表示物品数据库DB1的数据存储例的图。如图5所示，物品数据库DB1是存储着与成为非法行为推定对象的物品相关的信息的数据库。例如，在物品数据库DB1中存储唯一识别物品的物品ID(identifier，标识符)、经上载的物品图像、物品的说明文、供识别由标识特定部106特定出的标识的标识信息、供识别由分类特定部108特定出的分类的分类信息、及推定部109的推定结果。

说明文是与物品相关的文章，例如记述了物品的特征或感想等。在本实施方式中，用户可自由地输入说明文，所述说明文也可以是用户所选择的固定短语等。标识信息例如可以是唯一识别标识的ID，也可以是表示标识的字符串，只要是能识别物品标识的信息即可。同样，分类信息例如可以是唯一识别分类的ID，也可以是表示分类的字符串，只要是能识别物品分类的信息即可。此外，除了说明文以外，也可将表示物品特征的表格或图像等存储到物品数据库DB1中，还可将识别用户对物品指定的标识或分类的信息存储到物品数据库DB1中。

图6是表示标识图像数据库DB2的数据存储例的图。如图6所示，标识图像数据库DB2是存储着标识图像的数据库，例如存储着标识信息及至少1个标识图像。如下所述，在本实施方式中，因为标识图像是通过网络检索获取，所以标识信息可以是检索时被设为查询的字符串，也可以是该字符串经转换而得的ID。

标识图像是用于制作下述标识辨识器M1的图像。标识图像原则上是正规物品的图像，但也可以混有一部分非法物品的图像。标识图像可以是存储在物品数据库DB1中的物品图像，也可以是未存储到物品数据库DB1中的图像。在本实施方式中，将由下述检索部101检索到的标识图像存储到标识图像数据库DB2中。下述标识辨识器M1进行学习时，可在对标识图像中的标识部分以外的部分进行修色或图像修复等加工之后进行学习，也可不进行这些加工就进入学习。

图7是表示分类图像数据库DB3的数据存储例的图。如图7所示，分类图像数据库DB3是存储着分类图像的数据库，例如在分类图像数据库DB3中对每个分类信息存储至少1个分类图像。

分类图像是用于制作下述分类辨识器M2的图像。分类图像是用于使分类辨识器M2学习一般物体的形状的图像。在本实施方式中，分类图像中仅示出物品而未示出标识，但在分类图像中，也可将标有标识的物品示于分类图像中。在此情况下，下述分类辨识器M2进行学习时，可在对分类图像中的标识部分进行修色或图像修复等加工之后进行学习，也可不进行这些加工就进入学习。

此外，分类图像可以是存储在物品数据库DB1中的物品图像，也可以是未存储到物品数据库DB1中的图像。在本实施方式中，对从提供图像以供研究的其它系统中下载的图像相当于分类图像的情况进行说明，但可以并非为从其它系统中下载的图像，也可以由管理员自行准备分类图像。

此外，存储在数据存储部100中的数据不限于所述例子。例如，数据存储部100存储用于辨识标识的标识辨识器M1。标识辨识器M1包含程序(算法)或参数等，在本实施方式中，以图像辨识中所使用的机器学习模型为例进行说明。机器学习本身可应用公知的各种方法，例如能够利用CNN(Convolutional Neural Network，卷积神经网络)、ResNet(ResidualNetwork，残留网络)、或RNN(Recurrent Neural Network，递归神经网络)。当输入物品图像或其特征值时，标识辨识器M1输出物品图像中的标识及与其位置相关的位置信息。此外，标识辨识器M1也可不输出标识的位置信息。

例如，标识辨识器M1除了以上所说明的例子以外，也能够利用被称为CAM(ClassActivation Mapping，类激活映射)、YOLO(You Only Look Once，只需看一遍)或SSD(SingeShot MultiBox Detector，单步多框检测器)的方法。根据这些方法，能够输出标识的辨识结果、及与辨识时所着眼的部分相关的信息(例如热图)这两者。例如，在注释了图像中的标识位置(例如边界框)的情况下，如果利用YOLO或SSD，那么不仅能检测标识，还能检测其位置。另外，例如即使在未注释标识位置的情况下，通过与标识辨识器M1分开地利用被称为Grad-CAM(Gradient-weighted Class Activation Mapping，梯度加权类激活映射)的方法，也能输出与标识辨识器M1着眼于标识辨识的部分相关的信息(例如热图)，所以能够推定标识的大致位置。

另外，例如数据存储部存储分类辨识器M2。分类辨识器M2包含程序(算法)或参数等，在本实施方式中，以图像辨识中所使用的机器学习模型为例进行说明。分类辨识器M2与标识辨识器M1相同，也是机器学习本身能够应用公知的各种方法。例如分类辨识器M2也能够利用CNN、ResNet或RNN之类的方法。当输入物品图像或其特征值时，分类辨识器M2输出物品图像所示的物品的分类。

另外，例如数据存储部存储特征值计算器M3。特征值计算器M3包含程序(算法)、参数、及用于将词汇转换成特征值的辞典数据等，在本实施方式中，以自然言语处理中利用的机器学习模型为例进行说明。特征值计算器M3与标识辨识器M1及分类辨识器M2相同，也可应用公知的各种方法。例如，特征值计算器M3能够利用被称为Word2Vec或Glove(手套)的方法。当输入字符串时，特征值计算器M3输出表示其含义的特征值。在本实施方式中，特征值以矢量形式表示，但特征值可以任意形式表示，例如可为序列形式，也可由单个数值表示。

[3-2.检索部]

检索部101主要由控制部11实现。检索部101将要辨识的标识设为查询，在因特网上检索示出要辨识的标识的图像。检索本身能够利用由门户网站等提供的公知的各种检索引擎。另外，检索范围可为任意范围，例如可以是能从门户网站检索的范围(因特网上的整个范围)，也可以是网上购物商城等特定数据库的范围。

例如，检索部101获取由管理员从管理员终端30输入的标识字符串，将该获取的字符串设为查询而执行图像检索。检索部101将检索中搜到的所有图像或部分图像与成为查询的商标建立关联，并作为标识图像存储到标识图像数据库DB2中。例如，检索部101按照检索时评分由高到低的顺序获取规定数量的图像，并将其作为标识图像存储到标识图像数据库DB2中。另外，例如将从检索结果中随机选择的图像作为标识图像存储到标识图像数据库DB2中。另外，例如检索部101使管理员终端30的显示部35显示检索结果，将管理员选择的图像作为标识图像存储到标识图像数据库DB2中。

此外，检索部101只要将至少1个标识图像存储到标识图像数据库DB2中即可，其数量任意皆可。例如，检索部101可将预定的规定数量的标识图像存储到标识图像数据库DB2中，也可将检索时评分为阈值以上的所有标识图像或部分标识图像存储到标识图像数据库DB2中。另外，在本实施方式中，对将标识的字符串设为查询的情况进行说明，但也可将示出标识的图像设为查询，检索相似图像。在此情况下，成为查询的图像可仅为1个，也可将已相互改变了光照到标识的情况或角度等的多个图像设为查询。

[3-3.标识辨识器制作部]

标识辨识器制作部102主要由控制部11实现。标识辨识器制作部102基于示出要辨识的标识的标识图像来制作标识辨识器M1。所谓标识辨识器M1的制作，是指调整标识辨识器M1的模式，例如指调整标识辨识器M1的算法或参数。在本实施方式中，因为是利用检索部101来检索标识图像，所以标识辨识器制作部102会基于检索到的图像制作标识辨识器M1。

例如，标识辨识器制作部102基于存储在标识图像数据库DB2中的标识图像，获取将标识图像或其特征值设为输入，将标识图像所示的标识设为输出的教学数据。标识辨识器制作部102基于该获取的教学数据使标识辨识器M1进行学习。学习本身能够利用公知的机器学习中所使用的方法，例如能够利用CNN、ResNet或RNN的学习方法。标识辨识器制作部102以获得教学数据所示的输入输出的关系的方式制作标识辨识器M1。

[3-4.分类辨识器制作部]

分类辨识器制作部103主要由控制部11实现。分类辨识器制作部103基于示出要辨识的分类的被摄体的图像来制作分类辨识器M2。所谓分类辨识器M2的制作，是指调整分类辨识器M2的模式，例如指调整分类辨识器M2的算法或参数。在本实施方式中，因为准备了从其它系统中获取的分类图像，所以标识辨识器制作部102会基于该分类图像制作分类辨识器M2。

例如，分类辨识器制作部103基于存储在分类图像数据库DB3中的分类图像，获取将分类图像或其特征值设为输入，将分类图像所示的分类设为输出的教学数据。标识辨识器制作部102基于该获取的教学数据使标识辨识器M1进行学习。学习本身能够利用公知的机器学习中所使用的方法，例如能够利用CNN、ResNet或RNN的学习方法。分类辨识器制作部103以获得教学数据所示的输入输出的关系的方式制作分类辨识器M2。

在本实施方式中，因为预先准备了多个分类，所以分类辨识器制作部103基于该多个分类各自的分类信息制作分类辨识器M2。该分类只要是由管理员指定的分类即可，例如可以是网上购物商城中所列的商品类型或品类。分类辨识器制作部103以输出预定的多个分类中任一分类信息的方式调整分类辨识器M2。

[3-5.特征值计算器制作部]

特征值计算器制作部104主要由控制部11实现。特征值计算器制作部104制作计算语言特征值的特征值计算器M3。所谓特征值计算器M3的制作，是指调整特征值计算器M3的模式，例如指调整特征值计算器M3的算法或参数，或者制作特征值计算器M3的辞典数据。

特征值计算器M3的制作方法本身能够利用公知的方法，例如能够利用被称为Word2Vec或Glove的方法。例如，特征值计算器制作部104可基于正规物品的说明文制作特征值计算器M3。正规物品是推定部109的推定结果为合法的物品。例如，特征值计算器制作部104基于存储在物品数据库DB1中的说明文，制作特征值计算器M3。

此外，特征值计算器制作部104可以从其它系统中获取文档数据库来制作特征值计算器M3，也可以获取管理员已准备的文档数据库来制作特征值计算器M3，而非获取存储在物品数据库DB1中的说明文来制作。文档数据库例如能够利用任意数据库，比如提供百科全书的网站上的文章、统整网站上的文章、或网上购物商城中的商品说明文。

[3-6.物品图像获取部]

物品图像获取部105主要由控制部11实现。物品图像获取部105获取示出物品的物品图像。例如，物品图像获取部105参照物品数据库DB1，获取成为处理对象的物品图像。物品图像获取部105可仅获取1个物品图像，也可获取多个物品图像，只要获取至少1个物品图像即可。

此外，物品图像是物品信息中所含信息的一例。因此，本实施方式中记载为物品图像之处可改称为物品信息。物品信息只要包含与物品相关的信息即可，除了包含图像以外，例如可包含字符串、表格、图、动画或声音之类的其它信息，还可包含这些信息中的多个。

[3-7.标识特定部]

标识特定部106主要由控制部11实现。标识特定部106基于物品图像特定出物品的标识。此处的特定是指从物品图像中提取物品的标识。标识特定部106能以字符串或ID的形式特定出标识，也能以图像的形式特定出。

在本实施方式中，因为是利用标识辨识器制作部102制作标识辨识器M1，所以标识特定部106基于物品图像及标识辨识器M1特定出物品的标识。标识特定部106将物品图像或其特征值输入到标识辨识器M1。标识辨识器M1基于所输入的物品图像或特征值，将识别物品图像所示的标识的标识信息输出。标识特定部106通过获取标识辨识器M1的输出，特定出物品的标识。

此外，标识的特定方法不限于利用标识辨识器M1的方法，能够利用各种图像解析技术。例如，标识特定部106也可利用与样本图像的图案匹配，根据物品图像特定出物品的标识。在此情况下，将示出标识基本形状的样本图像存储到数据存储部100中，标识特定部106通过从物品图像中判定有无与样本图像相似的部分，而特定出物品的标识。除此以外，例如标识特定部106也可以从物品图像中提取特征点或轮廓线，并基于特征点或轮廓线的图案特定出物品的标识。

[3-8.位置信息获取部]

位置信息获取部107主要由控制部11实现。位置信息获取部107获取物品图像中与特定出的标识的位置相关的位置信息。在本实施方式中，因为标识辨识器M1将与物品图像所示的标识的位置相关的位置信息输出，所以位置信息获取部107获取由标识辨识器M1输出的位置信息。

位置信息是表示物品图像中示出标识的图像部分的位置的信息。在本实施方式中，对位置信息表示包围标识的边界框的位置的情况进行说明，但位置信息也可表示示出标识的任一像素的位置，而不是边界框的位置。例如，位置信息由对物品图像设定的二维坐标轴的坐标信息表示。二维坐标轴只要以物品图像的规定位置为原点来设定即可，例如将物品图像的左上方作为原点，沿右方向设定X轴，沿下方向设定Y轴。

此外，在通过图案匹配而非通过标识辨识器M1特定出标识的情况下，位置信息获取部107也可通过特定出物品图像中与样本图像相似的部分来获取位置信息。除此以外，例如位置信息获取部107也可通过特定出物品图像中被推定为标识部分的特征点或轮廓线来获取位置信息。

[3-9.分类特定部]

分类特定部108主要由控制部11实现。分类特定部108基于物品图像特定出物品的分类。此处的特定是指在多个分类中判定物品图像所示的物品所属的分类。分类特定部108从预定的多个分类中特定出物品的分类。

在本实施方式中，因为是利用分类辨识器制作部103制作分类辨识器M2，所以分类特定部108基于物品图像及分类辨识器M2特定出物品的分类。分类特定部108将物品图像或其特征值输入到分类辨识器M2。分类辨识器M2基于所输入的物品图像或特征值，将供识别物品图像所示的物品的分类的分类信息输出。分类特定部108通过获取分类辨识器M2的输出，特定出物品的分类。

另外，在本实施方式中，分类特定部108基于物品图像及位置信息特定出物品的分类。例如，分类特定部108对物品图像中基于位置信息确定的部分实施加工，并基于实施该加工后的图像特定出物品的分类。此处的加工只要是使标识部分的特征减少或消失的图像处理加工即可，例如将标识部分修色；用规定的颜色或周围的颜色填充标识部分；或者对标识部分实施模糊处理。除此以外，例如不仅可用颜色，还可用纹理或形状等以与周围调和的方式进行填充(所谓与内容相应的填充)。

图8是表示对物品图像中标识部分实施加工的情况的图。如图8所示，例如分类特定部108在对物品图像12中表示标识部分的边界框b1进行修色等加工之后，特定出物品的分类。分类特定部108通过将加工后的物品图像或其特征值输入到分类辨识器M2，获取分类辨识器M2的输出，来特定出物品的分类。

此外，分类的特定方法不限于利用分类辨识器M2的方法，能够利用各种图像解析技术。例如，分类特定部108也可利用与样本图像的图案匹配，根据物品图像特定出物品的分类。在此情况下，将表示属于各分类的物体的基本形状的样本图像存储在数据存储部100中，分类特定部108通过从物品图像中判定有无与样本图像相似的部分，特定出物品的分类。除此以外，例如分类特定部108也可以从物品图像中提取特征点或轮廓线，并基于特征点或轮廓线的图案特定出物品的分类。

[3-10.推定部]

推定部109主要由控制部11实现。推定部109基于由标识特定部106特定出的标识及由分类特定部108特定出的分类，推定与物品相关的非法行为。例如，推定部109判定标识与分类的组合是否为自然(妥当)组合。推定部109在标识与分类的组合为自然组合的情况下，推定为不存在与物品相关的非法行为，在标识与分类的组合为不自然组合的情况下，推定为存在与物品相关的非法行为。

另外，例如推定部109基于物品的标识与分类的组合判定是否符合规定基准。该基准只要是判定物品是否非法的基准即可，在本实施方式中，说明它是关于标识特征值与分类特征值的距离的基准的情况。此外，基准不限于特征值的距离，也可像下述变化例那样判定标识与分类是否为规定组合。除此以外，例如也可准备将标识与分类设为输入，将非法行为的推定结果设为输出的机器学习模型，推定部109通过利用该机器学习模型来推定非法行为。

在本实施方式中，推定部109基于由特征值计算器M3算得的标识的特征值及由特征值计算器M3算得的分类的特征值，推定与物品相关的非法行为。例如，推定部109将表示由标识特定部106特定出的标识的字符串输入到特征值计算器M3，获取由特征值计算器M3算得的特征值。另外，例如推定部109将表示由分类特定部108特定出的分类的字符串输入到特征值计算器M3，获取由特征值计算器M3算得的特征值。此外，在标识信息为字符串的情况下，直接将该字符串输入到特征值计算器M3，在标识信息为ID的情况下，要将ID转换成字符串之后输入到特征值计算器M3。同样地，在分类信息为字符串的情况下，将该字符串直接输入到特征值计算器M3，在分类信息为ID的情况下，要将ID转换成字符串之后输入到特征值计算器M3。

推定部109判定标识的特征值与分类的特征值的差异是否为阈值以上。在本实施方式中，因为以矢量形式表示特征值，所以差异为矢量空间中的距离。在以其它形式表示特征值的情况下，差异可为数值的差。推定部109在差异小于阈值的情况下，推定为不存在与物品相关的非法行为，在差异为阈值以上的情况下，推定为存在与物品相关的非法行为。推定部109将推定结果与物品图像建立关联存储到物品数据库DB1中。

此外，在由推定部109推定为非法的情况下，可在之后执行任意处理。例如，可以使管理员终端30显示被推定为非法的物品图像的列表，并从服务器10中删除管理员所选择的物品图像。另外，例如管理员也可通过电子邮件等与发表被推定为非法的物品图像的用户取得联络，对物品进行确认。另外，例如也可从服务器10中强制删除被推定为非法的物品图像。

[4.本实施方式中执行的处理]

接下来，对本实施方式中执行的处理进行说明。此处，对用于制作标识辨识器M1、分类辨识器M2及特征值计算器M3的事先处理、及用于推定物品非法行为的推定处理进行说明。

[4-1.事先处理]

图9是表示事先处理的一例的流程图。图9所示的事先处理是通过控制部11、31按照存储在存储部12、32中的程序进行动作来执行。下文所说明的处理是通过图4所示的功能模块执行的处理的一例。此外，此处对一系列处理中制作标识辨识器M1、分类辨识器M2及特征值计算器M3的每一个的情况进行说明，但也可在不同处理中进行制作。

如图9所示，在管理员终端30，控制部31对服务器10发送将管理员输入的标识设为查询的标识图像的检索请求(S100)。在S100中，管理员从操作部34输入设为查询的标识的字符串。控制部31发送将管理员输入的字符串设为查询的检索请求。

在服务器10中，当接收到检索请求时，控制部11将管理员输入的标识设为查询，检索因特网上的标识图像(S101)。此处，控制部11获取检索中搜到的规定数量的标识图像，但也可以将检索结果发送到管理员终端30，受理管理员的选择。

控制部11将S101中检索到的标识图像存储到标识图像数据库DB2(S102)中。在S102中，控制部11将管理员输入的标识与S101中获取的标识图像建立关联并存储到标识图像数据库DB2中。

控制部11基于存储在标识图像数据库DB2中的标识图像来制作标识辨识器M1(S103)。在S103中，控制部11制作将标识图像或其特征值设为输入，将管理员输入的标识设为输出的教学数据。控制部11基于所制作的教学数据使标识辨识器M1进行学习。

在管理员终端30，控制部31对服务器10发送分类辨识器M2的制作请求(S104)。分类辨识器M2的制作请求只要通过发送预定形式的信息来做出即可。此外，此处对分类图像数据库DB3中预先存储着分类图像的情况进行说明，但也可使分类辨识器M2的制作请求中包含分类图像。除此以外，例如服务器10接收到分类辨识器M2的制作请求时，也可从其它系统中下载分类图像。

在服务器10中，当接收到分类辨识器M2的制作请求时，控制部11基于存储在分类图像数据库DB3中的分类图像来制作分类辨识器M2(S105)。在S105中，控制部11制作将分类图像或其特征值设为输入，将与分类图像建立关联的分类设为输出的教学数据。控制部11基于所制作的教学数据使分类辨识器M2进行学习。

在管理员终端30，控制部31对服务器10发送制作特征值计算器M3的制作请求(S106)。特征值计算器M3的制作请求只要通过发送预定形式的信息来做出即可。此外，此处对利用物品数据库DB1的说明文的情况进行说明，但也可在特征值计算器M3的制作请求中包含制作特征值计算器M3所需的文档数据。除此以外，例如服务器10接收到特征值计算器M3的制作请求时，也可从其它系统中下载文档数据。

在服务器10中，当接收到特征值计算器M3的制作请求时，控制部11基于物品数据库DB1制作特征值计算器M3(S107)，本处理结束。在S107中，控制部11将存储在物品数据库DB1中的说明文分割成词汇，利用计算特征值的函数使各词汇特征值化，由此制作特征值计算器M3。

[4-2.推定处理]

图10是表示推定处理的一例的流程图。图10所示的推定处理是通过控制部11、31按照存储在存储部12、32中的程序进行动作来执行。下文所说明的处理是通过图4所示的功能模块执行的处理的一例。

如图10所示，首先在管理员终端30，控制部31对服务器10发送推定处理的执行请求(S200)。推定处理的执行请求只要是通过发送预定形式的信息来做出即可。此外，此处对物品数据库DB1中未存储推定结果的物品图像成为处理对象的情况进行说明，但也可使推定处理的执行请求中包含作为处理对象的物品图像的物品ID。另外，推定处理可不按照管理员的指示而在其它任意时点执行。例如，推定处理可定期执行，也可相应于物品图像累积到规定片数而执行。

在服务器10中，当接收到推定处理的执行请求时，控制部11基于物品数据库DB1获取要处理的物品图像(S201)。在S201中，控制部11参照物品数据库DB1，获取未被存储推定结果的任一物品图像。

控制部11基于要处理的物品图像及标识辨识器M1，特定出物品的标识及位置信息(S202)。在S202中，控制部11将物品图像或其特征值输入到标识辨识器M1。标识辨识器M1基于所输入的物品图像或特征值，输出学习过的表示多个标识中至少1个的标识信息、及标识的位置信息。控制部11获取标识辨识器M1的输出结果。此外，在标识辨识器M1不具有输出标识位置信息的功能的情况下，控制部11只要利用Grad-CAM等获取位置信息即可。

控制部11基于要处理的物品图像、S202中获取的标识位置信息及分类辨识器M2，特定出物品的分类(S203)。在S203中，控制部11对物品图像中位置信息所示的区域进行修色或图像修复等加工。控制部11将加工后的物品图像或其特征值输入到标识辨识器M1。标识辨识器M1基于所输入的物品图像或特征值，输出学习过的表示多个分类中至少1个的分类信息。控制部11获取由标识辨识器M1输出的分类信息。

控制部11基于特征值计算器M3，计算S202中特定出的标识的特征值与S203中特定出的分类的特征值的距离(S204)。在S204中，控制部11将标识信息输入到特征值计算器M3，获取标识的特征值。控制部11将分类信息输入到特征值计算器M3，获取分类的特征值。控制部11计算标识的特征值与分类的特征值的距离。

控制部11判定标识的特征值与分类的特征值的距离是否为阈值以上(S205)。阈值可以是固定值，也可以是可变值，只要是预定的值即可。在将阈值设为可变值的情况下，只要基于标识及分类的至少一个来决定即可。

当判定出距离为阈值以上时(S205；Y(Yes，是))，控制部11推定物品非法(S206)。在S206中，控制部11将物品的标识信息、分类信息及推定结果与要处理的物品图像建立关联并存储到物品数据库DB1中。

另一方面，当判定出距离小于阈值时(S205；N(No，否))，控制部11推定物品正规(S207)。在S207中，控制部11将物品的标识信息、分类信息及推定结果与要处理的物品图像建立关联并存储到物品数据库DB1中。

控制部11基于物品数据库DB1判定是否已对要处理的所有物品图像进行了推定(S208)。在S208中，控制部11判定是否存在尚未获取推定结果的物品图像。

当存在尚未进行推定的物品图像时(S208；N)，返回到S201的处理，执行对下一物品图像的处理。另一方面，当已对所有物品图像进行了推定时(S208；Y)，本处理结束。

根据以上说明的非法行为推定系统S，基于物品图像特定出物品的标识及物品的分类，并基于它们的组合推定与物品相关的非法行为，由此，不对物品物理安装标签或者读取标签，而能够根据与物品相关的信息推定非法行为。例如，像以往技术那样，在对物品安装物理标签的方法中，管理员必须特意前往店铺等读取标签，但根据非法行为推定系统S，只要有物品图像，就能推定非法行为，因此能迅速检测非法行为。也就是说，能够加快从物品图像的发表等到检测出非法行为的过程。另外，管理员等无须目测判断非法行为，能够减少推定物品非法行为的工夫。例如，即使没有物品的实物，也能根据物品图像等信息推定非法行为，因此，能够省去管理员亲自视认物品图像来判断非法行为的工夫。

另外，即使想要基于如物品说明文等可由发表者自由输入的信息来特定出物品的标识，也会因为这类信息容易弄虚作假不真实，而存在难以识破非法行为的情况。从这方面来看，非法行为推定系统S可通过基于相对不易弄虚作假的物品图像特定出物品的标识，来提高推定非法行为的精度。另外，即使根本没有说明文等信息，只要有物品图像就能推定非法行为。

另外，非法行为推定系统S基于示出要辨识的标识的标识图像制作标识辨识器M1，并基于物品图像及标识辨识器M1特定出物品的标识，由此能够提高特定出标识的精度。结果也能提高推定物品非法行为的精度。

另外，非法行为推定系统S将要辨识的标识设为查询，在因特网上检索示出要辨识的标识的标识图像，并基于检索到的图像制作标识辨识器M1，由此能更容易收集标识图像，减少制作标识辨识器M1的工夫。另外，通过利用因特网上的各种标识图像，能够有效提高标识辨识器M1的精度。结果也能提高推定物品非法行为的精度。

另外，即使想要基于如物品说明文等可由发表者自由输入的信息来特定出物品的分类，也会因为这类信息容易弄虚作假不真实，而存在难以识破非法行为的情况。从这方面来看，非法行为推定系统S可通过基于相对不易弄虚作假的物品图像特定出物品的分类，来提高推定非法行为的精度。另外，即使根本没有说明文等信息，只要有物品图像就能推定非法行为。

另外，非法行为推定系统S基于示出要辨识的分类的被摄体的分类图像制作分类辨识器M2，并基于物品图像及分类辨识器M2特定出物品的分类，由此能够提高特定出分类的精度。结果也能提高推定物品非法行为的精度。

另外，非法行为推定系统S通过从预定的多个分类中特定出物品的分类，并基于多个分类制作分类辨识器M2，能够有效提高分类辨识器M2的精度。结果也能提高推定物品非法行为的精度。

另外，非法行为推定系统S通过获取物品图像中与标识位置相关的位置信息，并基于物品图像及位置信息特定出物品的分类，能够有效提高特定出分类的精度。

另外，非法行为推定系统S通过在对物品图像中基于位置信息确定的部分进行加工之后推定分类，能够防止因受到标识部分的强烈影响而导致分类出错之类的情况。结果也能提高推定物品非法行为的精度。

另外，非法行为推定系统S制作计算语言特征值的特征值计算器M3，并基于由特征值计算器M3算得的特定出的标识的特征值、及由特征值计算器M3算得的特定出的分类的特征值，推定与物品相关的非法行为，由此能够提高推定物品非法行为的精度。例如，也可像下述变化例那样想到预先准备标识与分类的关联，但在此情况下，当管理员指定了错误的关联，或者关联的指定有遗漏时，非法行为的推定精度可能会下降。从这方面来看，通过利用语言特征值这一客观指标来推定物品非法行为，能够防止非法行为的推定精度下降之类的情况。

另外，非法行为推定系统S通过基于正规物品的说明文制作特征值计算器M3，能够提高特征值计算器M3的精度。例如，恶意用户可能会故意对非法物品的说明文输入虚假文章，但通过排除这类说明文，能够提高特征值计算器M3的精度。结果也能提高推定物品非法行为的精度。

[5.变化例]

此外，本发明并不限定于以上说明的实施方式。可在不脱离本发明宗旨的范围内适当进行变更。

(1)例如，利用推定部109的非法行为推定方法不限于实施方式中所说明的例子。推定部109只要判定物品的标识与分类的组合是否自然即可，例如可预先准备它们的自然组合、或者它们的不自然组合。

图11是变化例(1)中的功能框图。如图11所示，在变化例(1)中，数据存储部100存储关联数据DT1，除了实现实施方式中说明的功能以外，还可实现数据获取部110。数据获取部110主要由控制部11实现。此外，在变化例(1)中，数据存储部100可不存储特征值计算器M3，非法行为推定系统S可不包含特征值计算器制作部104。

图12是表示关联数据DT1的数据存储例的图。如图12所示，在关联数据DT1中存储着多个标识各自的标识信息及至少1个分类的分类信息。换句话说，在关联数据DT1中对每个标识信息存储至少1个分类信息。此处，针对关联数据DT1中对标识与分类的自然组合做出定义的情况进行说明，但也可在关联数据DT1中对标识与分类的不自然组合做出定义。

此处，对管理员准备关联数据DT1的情况进行说明，但关联数据DT1也可通过获取物品数据库DB1的统计而自动产生。例如，管理员利用物品制造者的目录或主页等，特定出标识与分类的自然组合。管理员从管理员终端30的操作部34输入它们的组合制作关联数据DT1，并上载到服务器10。服务器10在接收到管理员上载的关联数据DT1时，将其存储到数据存储部100中。

数据获取部110获取将多个标识的每一个与至少1个分类建立关联的关联数据DT1。在本变化例中，因为数据存储部100中存储着关联数据DT1，所以数据获取部110获取存储在数据存储部100中的关联数据DT1。

推定部109基于特定出的标识、特定出的分类、及关联数据DT1，推定与物品相关的非法行为。例如，在关联数据DT1中对标识与分类的自然组合做出定义的情况下，推定部109判定物品的标识与分类的组合是否存在于关联数据DT1中。当它们的组合存在于关联数据DT1中时，推定部109推定不存在与物品相关的非法行为，当它们的组合不存在于关联数据DT1中时，推定部109推定存在与物品相关的非法行为。

此外，在关联数据DT1中对标识与分类的不自然组合做出定义的情况下，当物品的标识与分类的组合不存在于关联数据DT1中时，推定部109推定出不存在与物品相关的非法行为，当它们的组合存在于关联数据DT1中时，推定部109推定出存在与物品相关的非法行为。

根据变化例(1)，通过基于特定出的标识、特定出的分类、及关联数据DT1，推定与物品相关的非法行为，能够减少推定非法行为的工夫。例如在实施方式中所说明的方法中，服务器10必须制作特征值计算器M3或计算特征值，但在变化例(1)的方法中，无须执行这种处理，因此能够通过简便的处理推定非法行为，也能减轻服务器10的处理负荷。

(2)另外，例如在实施方式中，对基于发表到SNS或公告栏等的物品图像推定与物品相关的非法行为的情况进行了说明，但非法行为推定系统S可应用到其它任意情景。例如在判定与网上购物商城上展出的商品相关的非法行为的情景中，也可利用非法行为推定系统S。

在本变化例中，服务器10管理网上购物商城的网站。操作用户终端20的用户是在网上购物商城上开设分店的店铺人员等。用户将与自家店铺中所陈列的商品相关的商品信息上载到服务器10。在物品数据库DB1中存储唯一识别店铺所出售的商品的物品ID、商品图像即物品图像、商品说明文、供识别由标识辨识器M1特定出的标识的标识信息、供识别由分类辨识器M2特定出的分类的分类信息、及推定部109的推定结果。基于这些信息，显示用于购买商品的商品详情页。

在本变化例中，物品为商品，物品信息成为与商品相关的商品信息。商品只要是成为网上购物商城上的交易对象的物品即可。商品信息只要是与商品相关的基本信息即可，只要是由店铺人员等即用户输入的信息即可。

标识特定部106基于商品信息特定出商品的标识，分类特定部108基于商品信息特定出商品的分类。标识与分类的特定方法本身如实施方式中所说明。推定部109推定与商品相关的非法行为。非法行为的推定方法可利用实施方式中所说明的方法，也可利用变化例(1)中所说明的方法。例如，管理员对被推定为非法的物品的购买页不予显示，或者对出售该物品的店铺予以惩罚。

此外，在物品数据库DB1中也可存储识别店铺所指定的商品分类的分类信息、商品标题、商品价格及商品库存等其它信息。在此情况下，分类特定部108也可不利用分类辨识器M2，而通过参照店铺所指定的分类信息特定出商品的分类。同样，标识特定部106也可根据商品的说明文或标题特定出标识。

根据变化例(2)，通过基于商品信息特定出商品的标识与商品的分类，推定与商品相关的非法行为，能够防止非法商品被出售。

(3)另外，例如在实施方式中，对作为物品信息一例的物品图像进行了说明，但物品信息也可以是字符串、动画或声音之类的其它信息。例如，在物品信息为字符串的情况下，标识特定部106也可通过判定与物品建立关联的字符串中是否包含表示标识的字符串，来特定出标识。在此情况下，位置信息表示整篇文章中的标识的字符串的位置。分类特定部108通过判定与物品建立关联的字符串中是否包含表示分类的字符串，或者参照与物品建立关联的分类信息，来特定出分类。另外，例如分类特定部108也可在隐藏了位置信息所示的标识部分的字符串之后特定出物品的分类。

另外，例如在物品信息为动画的情况下，标识特定部106及分类特定部108只要利用实施方式或变化例中所说明的方法，针对构成动画的各个图像特定出标识及分类即可。另外，例如在物品信息为声音的情况下，标识成为CM(Commercial Message，电视广告)等中所使用的声音。标识特定部106通过解析物品信息的声音，并判定是否获得表示标识的波形，来特定出标识。分类特定部108可通过解析声音来特定出分类，在有字符串或图像等其它信息的情况下，也可通过参照所述其它信息来特定出分类。

另外，例如也可像标识特定部106参照物品图像特定出标识，分类特定部108参照说明文或分类信息特定出分类之类的那样，通过参照物品信息中所含的个别的项目，特定出标识与分类。

另外，例如已对利用服务器10实现主要功能的情况进行了说明，但各功能也可由多个计算机分担。例如分别由服务器10、用户终端20及管理员终端30分担功能。例如，分类等处理可由用户终端20或管理员终端30执行，而不是由服务器10执行。另外，例如在非法行为推定系统S包含多个服务器计算机的情况下，也可由多个服务器计算机分担功能。另外，例如被描述为由数据存储部100存储的数据也可由服务器10以外的计算机存储。