恶意用户举报方法及装置、举报信息处理方法及装置

摘要

本发明实施例公开了一种举报信息处理方法，包括：接收举报请求，提取其中包含的目标用户标识和举报类型；查找所述目标用户标识对应的操作记录；获取与所述举报类型对应的语义分析模型；根据所述语义分析模型判断所述操作记录是否对应恶意用户，若是，则生成相应的惩罚处理指令。本发明还公开了一种举报信息处理装置以及相应的恶意用户举报方法及装置。采用本发明，可提高用户举报得到响应的及时性。

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种恶意用户举报方法及装置、举报信息处理方法及装置。

背景技术

随着互联网的发展，即时通信工具等社交网络应用已经越来越融入网民的生活。而不少不法份子也开始通过社交网络应用传播色情、广告、邪教、诈骗信息谋取私利，称为社交网络应用中的恶意用户。

目前主流的社交网络应用中对恶意用户发布的内容进行举报的方法都是粗放的方式。其过程通常为，用户选中恶意用户或选择恶意用户发布的文本、图片或视频等多媒体内容，然后点击社交网络应用上的举报按钮发出用户举报指令，然后在弹出的输入框中输入举报的附带信息(可选的步骤)，附带信息包括原因、证据或恶意行为的类型等，例如：用户可输入“xx给我发送了XXX邪教的宣传图片”的附带信息来说明其举报的原因和恶意行为。

然而，发明人经研究发现传统技术中对恶意用户的举报信息的处理至少存在以下问题：传统技术中，用户选中的举报内容首先需要后台的举报信息分析工具结合填写的附带信息进行归类，需要遍历不同类型的语义分析模型，找出匹配的语义分析模型对举报内容进行识别，从而判定举报信息是否符合惩罚条件。因此，需要较长的时间才能返回反馈信息(举报内容符合条件则进行惩罚，不符合则提示举报申请不通过)，使得用户举报得到响应的及时性不足。

发明内容

基于此，为了解决上述用户举报得到响应的及时性不足的技术问题，特提供了一种举报信息处理方法。

一种举报信息处理方法，包括：

接收举报请求，提取其中包含的目标用户标识和举报类型；

查找所述目标用户标识对应的操作记录；

获取与所述举报类型对应的语义分析模型；

根据所述语义分析模型判断所述操作记录是否对应恶意用户，若是，则生成相应的惩罚处理指令。

此外，为了解决上述用户举报得到响应的及时性不足的技术问题，还提供了一种举报信息处理装置。

一种举报信息处理装置，包括：

举报请求接收模块，用于接收举报请求，提取其中包含的目标用户标识和举报类型；

操作记录查找模块，用于查找所述目标用户标识对应的操作记录；

分析模型获取模块，用于获取与所述举报类型对应的语义分析模型；

恶意用户判定模块，用于根据所述语义分析模型判断所述操作记录是否对应恶意用户，若是，则生成相应的惩罚处理指令。

此外，为了解决上述用户举报得到响应的及时性不足的技术问题，还提供了一种恶意用户举报方法。

一种恶意用户举报方法，包括：

接收举报指令，获取所述举报指令对应的目标用户标识；

获取预设的举报类型并展示；

获取选中的举报类型生成举报请求并上报至服务器；

接收服务器返回的惩罚处理指令并执行。

此外，为了解决上述用户举报得到响应的及时性不足的技术问题，还提供了一种恶意用户举报装置。

一种恶意用户举报装置，包括：

举报指令接收模块，用于接收举报指令，获取所述举报指令对应的目标用户标识；

举报类型展示模块，用于获取预设的举报类型并展示；

举报请求上报模块，用于获取选中的举报类型生成举报请求并上报至服务器；

终端惩罚处理模块，用于接收服务器返回的惩罚处理指令并执行。

实施本发明实施例，将具有如下有益效果：

用户在使用基于上述恶意用户举报方法的终端向基于上述举报信息处理方法的服务器发起举报请求后，由于举报请求中附带了明确的举报类型，服务器可根据用户选择的举报类型快速地选择相应的语义分析模型对目标用户标识的操作记录进行快速地识别。和传统技术相比，由于选择的对操作记录进行识别的语义分析模型与选择的举报类型完全相关，因此仅通过单一的语义分析模型即可得到准确的判定。因此在传统技术的基础上不仅保证了举报信息处理的准确性，还提高了返回相应惩罚处理指令的及时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个应用场景中选择用户头像进行举报的界面图；

图2为传统技术中用户填写举报内容的界面图；

图3为一个实施例中一种恶意用户举报方法的流程图；

图4为一个实施例中一种举报信息处理方法的流程图；

图5为一个应用场景中选择举报类型的界面示意图；

图6为一个应用场景中选择举报类型的界面示意图；

图7为一个应用场景中选择举报类型的界面示意图；

图8为一个应用场景中选择举报类型的界面示意图；

图9为一个应用场景中填写举报附加内容的界面示意图；

图10为一个实施例中一种恶意用户举报装置的结构图；

图11为一个实施例中一种举报信息处理装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

传统技术中的社交网络应用中的举报机制的软件实现包括客户端和服务器两部分。客户端部分可参考图1所示，在社交网络应用客户端操作的用户可右键点击骚扰信息发送者的头像，然后点击举报，则会弹出如图2所示的输入框，提示用户输入举报内容，然后客户端将该举报内容上报至服务器。由图1和图2可看出，传统技术中的举报机制中，举报内容由进行举报的用户在客户端手动输入，因此其输入的理由或证据具有较大的随意性，使得在该机制中，服务器需要先通过语义分析，对该骚扰信息发送者的骚扰行为进行归类，然后再判断其是否符合惩罚条件。而归类的方法也通常为遍历多个语义分析模型，找出最匹配的语义分析模型对应的举报类型。

例如，服务器上预先可创建有广告信息分析模型、色情信息分析模型和反动信息分析模型等多个语义分析模型，对于用户填写的举报内容则可依次使用上述广告信息分析模型、色情信息分析模型和反动信息分析模型进行分析，若广告信息分析模型进行分析后得到的匹配度最高，则判定该用户填写的举报内容为垃圾广告骚扰，则可进一步判定该骚扰信息发送者是否符合惩罚条件。

由上可看出，在传统的社交网络应用举报机制中，用户通过客户端上传的举报内容不明确，服务器需要花费较多的时间用于对举报内容归类分析上，因此导致了进行惩处措施的响应不及时的问题。

为解决上述服务器响应不及时的问题，在一个实施例中，特提出了一种新的社交网络应用的举报机制，该举报机制由两部分的方法步骤组成，包括运行于社交网络应用客户端的恶意用户举报方法(终端部分)以及相应的运行于社交网络应用服务器的举报信息处理方法(服务器部分)。在终端上运行的恶意用户举报方法和在服务器上运行的举报信息处理方法的执行均可依赖于计算机程序，可运行于冯诺依曼体系的计算机系统之上。该终端可以是智能手机、平板电脑、笔记本电脑或台式电脑等安装有智能操作系统或桌面操作系统的终端设备；该服务器则可以是运行社交网络应用的服务器程序的计算机设备或者独立地用于执行社交网络应用中进行举报信息处理的计算机设备。

具体的，在本实施例中，恶意用户举报方法如图3所示，包括：

步骤S102：接收举报指令，获取举报指令对应的目标用户标识。

步骤S104：获取预设的举报类型并展示。

步骤S106：获取选中的举报类型生成举报请求并上报至服务器。

步骤S108：接收服务器返回的惩罚处理指令并执行。

相应的，在本实施例中，举报信息处理方法则如图4所示，包括：

步骤S202：接收举报请求，获取举报请求对应的目标用户标识。

步骤S204：查找目标用户标识对应的操作记录。

步骤S206：获取举报请求对应的举报类型，获取与举报类型对应的语义分析模型。

步骤S208：根据语义分析模型判断操作记录是否对应恶意用户，若是，则执行步骤S210：生成相应的惩罚处理指令。

在本实施例中，用户在社交网络应用(即时通信应用也属于社交网络应用的一种)的聊天窗口中选择发送骚扰信息的用户的头像点击右键，选择举报后则对终端输入了举报指令，终端即可根据用户的点击行为确定该举报指令对应的目标用户标识即为右键点击的发送骚扰信息的用户的头像对应的目标用户标识(即步骤S102)。目标用户标识可以是被举报的目标用户在社交网络应用中的账号、邮箱等标识信息。

如图5所示，终端在接收到举报指令后即可弹出举报类型选择窗口，在其上展示预设的举报类型以供在终端上操作的用户进行选择。在本实施例中，举报类型可包括骚扰类(即图5中的“垃圾信息骚扰”选项)、不良信息类(即图5中的“传播色情/暴力/反动等不良信息”选项)和诈骗类(即图5中的“此帐号正在诈骗钱”选项)。

优选的，举报类型还可包括多个层级。如图6所示，用户选中“垃圾信息骚扰”选项后则展示骚扰类的举报类型下的子类型，可至少包括垃圾广告类(如图6中所示的“发垃圾广告”选项)和辱骂类(如图6中所示的“侮辱谩骂”选项)。

如图7所示，用户选中“传播色情/暴力/反动等不良信息”选项后则展示不良信息类的举报类型下的子类型，可至少包括色情类(如图7中所示的“色情淫秽”选项)、反动政治类(如图7中所示的“反动政治”选项)和暴力恐怖类(如图7中所示的“暴力暴恐”选项)。

如图8所示，用户选中“此帐号正在诈骗钱”选项后则展示诈骗类的举报类型下的子类型，可至少包括陌生诈骗类(如图8中所示的“是，骗子自己的号码”选项)和伪装诈骗类(如图8中所示的“否，好友账号正在被盗用”选项)。

用户通过点击相应的选项即可选中相应的举报类型，然后终端根据用户选中的目标用户标识以及举报类型生成举报请求上报至服务器。

优选的，终端在展示举报类型之前，可由服务器下载举报类型。例如，服务器可使用xml或config文件定义举报类型及其层级结构，当用户点击“举报”后，终端由服务器下载该xml或config文件，然后根据该xml或config文件展示举报类型。采用此种方式可保证服务器上版本更新，添加或删除了举报类型时，终端无需版本升级即可完成与服务器的适配。

服务器接收到举报请求后，即可提取举报请求中包含的目标用户标识和举报人选中的举报类型(步骤S202)。服务器即可根据该目标用户标识在社交网络应用的历史数据中查找目标用户标识对应的操作记录(即步骤S204)。查找到的操作记录可以是发帖记录、微博记录、聊天记录等，也就是用户输入的内容的记录。

优选的，可提取该目标用户标识在收到举报时刻的前N条的操作记录。在本实施例中，N取值为10。例如，若某用户持续发帖传播垃圾广告，当其在10点被举报时，则仅查询在举报时刻10点前时间从后到前该用户发出的10个帖子作为操作记录进行分析。

步骤S206：获取与举报类型对应的语义分析模型。

语义分析模型即为用于对发帖记录、微博记录、聊天记录等用户输入的内容中包含的文本、图像、音频或视频内容进行分析的函数模型。例如，对于文本内容，可通过关键字匹配以及文字相关性对文本内容进行语义分析；对于图像内容，则可通过结合图像检索算法或肤色检测算法对图像内容进行检测(主要用于判断图像或视频内容是否涉及色情内容)。

在本实施例中，预设的语义分析模型与举报类型对应。例如，“垃圾广告类”的举报类型即对应专门用于进行垃圾广告识别的语义分析模型，其可通过分析用户发帖中是否包含广告关键字来识别目标用户标识对应的操作记录是否为输入了垃圾广告；“色情淫秽”类的举报类型即对应专门用于进行黄色图像识别的语义分析模型。

步骤S208：根据语义分析模型判断操作记录是否对应恶意用户，若是，则生成相应的惩罚处理指令。

如前所述，语义分析模型为与创建的用于对不同类型的信息内容进行处理的函数模型，可通过调用与举报类型对应的语义分析模型的函数模型的接口函数，并将操作记录作为参数传递即可得到函数模型相应的返回结果。该返回结果即可判定操作记录由恶意用户的输入行为产生，即判定目标用户标识是否为恶意用户的用户标识。

惩罚处理指令即为服务器生成的针对被判定为恶意用户的目标用户标识在终端或服务器进行惩罚处理的指令。优选的，在服务器生成相应的惩罚处理指令的步骤之后还包括：服务器还可移除目标用户标识对应的会话和/或拒绝目标用户标识登录。

例如，若用户A在即时通信应用中向好友用户B发送了包含色情内容的图片或者视频的链接，好友用户B通过选择用户A在聊天窗口中的头像对用户A进行了举报，并选择了举报类型为色情淫秽，则服务器在接收到用户B所在的终端发起的举报请求后，调用专门用于对色情淫秽内容进行分析识别的语义分析模型(即通过图像处理对图像或视频进行色情内容识别的函数模型)对用户A和用户B的聊天记录中用户A输入的内容进行语义分析。

该语义分析模型返回了确认用户A输入的内容包含有色情内容的消息后，即可判定用户A为恶意用户。可将用户A在即时通信服务器上的会话移除，也就是说，将用户A强制下线(在即时通信应用中，会话通常为用户登录之后保存用户登录态的对象，将会话删除，则意味着用户的登录态被注销，需要用户重新登录)。将用户强制下线之后，还可将用户A的IP地址加入登录的黑名单，阻止用户A登录一段时间。

优选的，在判定用户A(即目标用户标识)为恶意用户后，还可将目标用户标识加入举报记录中。在生成惩罚处理指令时，则可根据举报记录选择相应的惩罚级别。如上例中，若用户A在举报记录中存在较多的记录，则组织用户A登录的时间长度则可设置的较长一些；若用户A在举报记录中存在较少的记录，则组织用户A登录的时间长度则可设置的较短一些。

在其它实施例中，也可根据用户A所在的社交网络应用的相关用户数据生成惩罚指令。例如，若社交网络应用中包含电子商务业务，则可根据判定恶意用户的结果选择降低用户A的信用度等用户数据。在包含有经验值、评价值等需要累计积累的用户业务数据的社交网络应用中(例如网络游戏等)，也可选择减少用户业务数据的数值来进行惩罚。

服务器也可将相应的惩罚处理指令下发给终端。终端接收到惩罚处理指令之后，则执行相应的惩罚处理指令(即步骤S108)。如上例中，服务器返回的惩罚处理指令也可包括警告用户A请勿发送色情内容的提示信息的部分以及在终端阻止用户A登录的部分。用户A所在的终端在接收到服务器返回的惩罚处理指令后，则可弹出对话框，展示“请勿发送色情内容，已强制下线”的提示信息，并在用户A输入其账号(即目标用户标识)后，弹出“账号被锁定”的提示信息，阻止其登录。

也就是说，目标用户标识被判定为对应恶意用户之后，则既可在服务器上对其进行惩罚，通过生成的惩罚处理指令对其存储在服务器上的用户数据进行修改；也可由服务器将惩罚处理指令下发至终端，由终端调用相应的具有惩罚机制的函数阻止用户A继续进行部分输入操作(例如，弹出对话框，或将部分按钮变灰等)。且服务器和终端的惩罚处理机制既可并行进行，也可仅在某一端执行。

在一个实施例中，根据语义分析模型判断操作记录是否对应恶意用户的步骤还包括：

根据举报请求提取举报附加内容；结合举报附加内容根据语义分析模型判断操作记录是否对应恶意用户。

参考图6至8所示，用户在选择举报类型后，还可在弹出的选择框中填写附加信息作为举报附加内容。终端将举报附加内容通过举报请求发送给服务器之后，服务器在对用户的操作记录进行语义识别时，则可结合举报附加内容进行识别。

例如，举报者可在举报附加内容中填写骚扰信息发生的具体时间参数、上下文信息或操作记录的范围参数(在即时通信应用中，即可以确定为发送消息的条数，如前10条，前100条，当天等)。服务器对操作记录进行语义识别时，则可根据该举报附加内容更加准确地查找相应的所要识别的操作记录，使得对恶意用户的判定结果更加准确。

在另一个实施例中，终端上操作的用户也可直接选择消息记录作为举报附加内容进行举报。如图9所示，若在即时通信应用中，用户A向用户B发送了色情图片，则用户B可直接点击色情图片并在弹出的菜单中选择举报，然后选择相应的举报类型。终端则可根据选择的图片找到对应的用户A的用户标识，然后将该图片或其对应的链接或其在服务器上存储的标识号作为举报附加内容发送给服务器。服务器在处理该举报请求时，则可仅对该图片进行语义分析，也可在聊天记录中查找与该图片对应的上下文进行语义分析作为辅助判断。

在本实施例中，接收举报请求的步骤之后还包括：根据举报请求提取第三方身份标识；获取与第三方身份标识对应的历史记录，根据历史记录判断第三方身份标识是否对应恶意用户，若是，则调用第三方身份标识举报接口上报第三方身份标识。

例如，如图8所示，用户在选择诈骗类的举报类型时，还可以输入银行卡号、手机号或身份证号作为附加的第三方身份标识通过举报请求上报给服务器。例如，通常接收到的诈骗类短信或消息中，由于诈骗者需要被骗者将金额转账到特定的银行帐号，因此，诈骗类的骚扰信息中通常包含诈骗者的银行卡号、手机号或身份证号。

服务器在接收到上报的第三方身份标识后，可更新后台存储的上报记录(例如，每接收到相同的第三方身份标识上报则累加上报次数)。若检测到该第三方身份标识的上报次数大于阈值，则可判定该第三方身份标识可能为诈骗者的身份标识。

第三方身份标识举报接口即第三方身份标识管理者提供的举报接口。例如，对于身份证，可调用公安机关提供的举报接口将其上报；对于银行卡，则可调用银行系统提供的举报接口将其上报；对手机号码，则可调用通信运营商提供的举报接口将其上报。

在其他实施例中，判定第三方身份标识是否对应恶意用户的过程也可不仅限于前述的历史记录中的上报次数，还可在历史记录中记录被举报者所在的地理位置、IP地址、发生时间等参考信息，然后根据上述参考信息综合判断第三方身份标识是否为恶意用户。

例如，若举报请求中包含了手机号码，该手机号码在历史记录中被举报过多次，但其中提取的目标用户标识对应的终端所在的地理位置并不是历史记录中存在的常见地址和常见IP(即大部分举报发生时被举报的终端所在的地址和IP)，则可将其判定为非恶意用户(可能为手机号易主)。结合上述参考信息的历史记录对第三方身份标识进行判断，可以使举报处理的惩罚机制更加准确。

优选地，生成相应的惩罚处理指令的步骤还包括：

判断目标用户标识是否对应好友用户，若是，则锁定目标用户标识对应的终端，并向其发送修改密码的惩罚处理指令。

锁定目标用户标识对应的终端，即为对其发起的其他业务处理请求不作处理，也可将其重定向至修改密码的界面。终端在接受到修改密码的惩罚处理指令后，则可强制展示修改密码的界面，提示用户修改密码。

而判断目标用户标识是否对应好友用户的步骤即可包括：判断举报类型是否为伪装诈骗类，若是则判定目标用户标识对应好友用户。

如图8中所示，若举报者选择了“否，好友账号正在被盗用”，则可判定目标用户标识为举报者的好友。在其他实施例中，也可通过在社交网络应用的用户关系数据库中查询目标用户标识与举报者的用户标识的对应关系来判定目标用户标识是否对应好友用户。

在一个实施例中，如图10所示，还相应提出了一种恶意用户举报装置，包括举报指令接收模块102、举报类型展示模块104、举报请求上报模块106和终端惩罚处理模块108，其中：

举报指令接收模块102，用于接收举报指令，获取所述举报指令对应的目标用户标识。

举报类型展示模块104，用于获取预设的举报类型并展示。

举报请求上报模块106，用于获取选中的举报类型生成举报请求并上报至服务器。

终端惩罚处理模块108，用于接收服务器返回的惩罚处理指令并执行。

在本实施例中，举报类型展示模块104还用于由服务器下载预设的举报类型。

在本实施例中，举报类型包括至少骚扰类、不良信息类和诈骗类；

所述骚扰类至少包括垃圾广告类和辱骂类；

所述不良信息类至少包括色情类、反动政治类和暴力恐怖类；

所述诈骗类包括陌生诈骗类和伪装诈骗类。

在一个实施例中，如图11所示，还相应提出了一种举报信息处理装置，包括举报请求接收模块202、操作记录查找模块204、分析模型获取模块206和恶意用户判定模块208，其中：

举报请求接收模块202，用于接收举报请求，提取其中包含的目标用户标识和举报类型。

操作记录查找模块204，用于查找所述目标用户标识对应的操作记录。

分析模型获取模块206，用于获取与所述举报类型对应的语义分析模型。

恶意用户判定模块208，用于根据所述语义分析模型判断所述操作记录是否对应恶意用户，若是，则生成相应的惩罚处理指令。

在本实施例中，恶意用户判定模块208还用于根据所述举报请求提取举报附加内容；结合所述举报附加内容根据所述语义分析模型判断所述操作记录是否对应恶意用户。

在本实施例中，如图11所示，举报信息处理装置还包括第一惩罚处理模块210，用于移除所述目标用户标识对应的会话和/或拒绝所述目标用户标识登录。

在本实施例中，如图11所示，举报信息处理装置还包括第三方举报模块，用于根据所述举报请求提取第三方身份标识；获取与所述第三方身份标识对应的历史记录，根据所述历史记录判断所述第三方身份标识是否对应恶意用户，若是，则调用第三方身份标识举报接口上报所述第三方身份标识。

在本实施例中，如图11所示，举报信息处理装置还包括第二惩罚处理模块212，用于判断所述目标用户标识是否对应好友用户，若是，则锁定所述目标用户标识对应的终端，并向其发送修改密码的惩罚处理指令。

在本实施例中，举报类型包括至少骚扰类、不良信息类和诈骗类。

骚扰类至少包括垃圾广告类和辱骂类。

不良信息类至少包括色情类、反动政治类和暴力恐怖类。

诈骗类包括陌生诈骗类和伪装诈骗类。

第二惩罚处理模块212还用于判断举报类型是否为伪装诈骗类，若是则判定所述目标用户标识对应好友用户。

综上所述，实施本发明实施例，将具有如下有益效果：

用户在使用基于上述恶意用户举报方法的终端向基于上述举报信息处理方法的服务器发起举报请求后，由于举报请求中附带了明确的举报类型，服务器可根据用户选择的举报类型快速地选择相应的语义分析模型对目标用户标识的操作记录进行快速地识别。和传统技术相比，由于选择的对操作记录进行识别的语义分析模型与选择的举报类型完全相关，因此仅通过单一的语义分析模型即可得到准确的判定。因此在传统技术的基础上不仅保证了举报信息处理的准确性，还提高了返回相应惩罚处理指令的及时性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。