预测IPTV用户申告的系统和方法

摘要

本发明提供了一种用于预测IPTV用户申告的方法和系统。方法包括：获取由安装在IPTV机顶盒中的探针模块采集到的质量监测数据；对采集到的质量监测数据进行预处理，得到用户质量感知数据；从所述用户质量感知数据中提取特征数据；将所提取的特征数据输入经训练的IPTV用户申告预测模型，得到用户申告概率；以及提供与提取的特征数据相匹配的潜在申告原因。

说明书

技术领域

本发明涉及IPTV领域和大数据技术，更具体地，涉及预测IPTV用户申告的系统和方法。

背景技术

IPTV技术主要为用户提供电视直播以及视频回看、点播等在线视频服务。在IPTV的使用过程中，如果出现网络延迟、卡顿、马赛克、音画不同步等现象，会影响用户体验，并且如果这类现象持续一段时间而无法自行恢复时，用户往往会通过电话或网络方式报告故障，也称用户申告。

目前，没有现成的系统或方法去准确预测IPTV用户的申告概率及潜在原因，只能在用户申告之后再去进行定位故障原因。此外，现有的各类预测方法主要是依赖于机器学习的各类算法，对复杂场景输入数据的特征提取准确性不足，导致应用场景无法精准适用于IPTV用户的申告。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

本发明旨在解决提供一种基于机顶盒探针质量监测来预测IPTV用户申告的系统和方法，通过机顶盒探针实现对造成视频播放优良率较低的原因的准确监测，并通过构建一种提取IPTV申告用户特征的判断方法，实现对申告用户特征的准确识别，从而实现对用户的申告概率及潜在原因的准确预测。

根据本发明的一个发明，提供了一种用于训练IPTV用户申告预测模型的方法，所述方法包括：

获取由安装在IPTV机顶盒中的探针模块采集到的质量监测数据；

对采集到的质量监测数据进行处理，得到用户质量感知数据；

从所述用户质量感知数据中提取特征数据；以及

将所提取的特征数据作为训练数据，通过机器学习训练所述IPTV用户申告预测模型。

根据本发明的进一步实施例，对采集到的质量监测数据进行处理进一步包括：

清洗异常数据；

提取反映视频播放质量的数据；

将数据转换成统一的数据格式；以及

对相关数据进行合并。

根据本发明的进一步实施例，从所述用户质量感知数据中提取特征数据进一步包括：

从所述用户质量感知数据中提取与用户申告有关的用户申告数据；

对所述用户申告数据进行分析以构建申告用户特征判断规则；以及

基于所述用户特征判断规则提取所述特征数据。

根据本发明的进一步实施例，提取用户申告数据进一步包括以下步骤中的一步或多步：

群障过滤；

质差时间块提取；

质差终端提取；以及

长期质差终端提取。

根据本发明的进一步实施例，对所述用户申告数据进行分析以构建申告用户特征判断规则进一步包括：

基于数据分析技术来确定与用户申告相关的一个或多个特征；

分析所述一个或多个特征的数值分布；以及

将所述一个或多个特征的数值分布组合成用户特征判断规则。

根据本发明的进一步实施例，基于所述用户特征判断规则提取所述特征数据进一步包括：

筛选满足所述用户特征判断规则的数据；以及

从筛选出的数据中提取所确定的与用户申告相关的一个或多个特征作为所述特征数据。

根据本发明的进一步实施例，所述方法进一步包括将所述特征数据与真实的用户申告原因相关联作为预测的申告原因。

根据本发明的另一方面，提供了一种用于预测IPTV用户申告的方法，方法包括：

获取由安装在IPTV机顶盒中的探针模块采集到的质量监测数据；

对采集到的质量监测数据进行处理，得到用户质量感知数据；

从所述用户质量感知数据中提取特征数据；以及

将所提取的特征数据输入根据如权利要求1-7中任意一项所述的方法训练而成的IPTV用户申告预测模型，得到用户申告概率。

根据本发明的又一方面，提供了一种用于预测IPTV用户申告的系统，所述系统包括：

IPTV用户质量感知数据处理模块，所述IPTV用户质量感知数据处理模块被配置成：

获取由安装在IPTV机顶盒中的探针模块采集到的质量监测数据；以及

对采集到的质量监测数据进行处理，得到用户质量感知数据；

IPTV申告用户特征提取模块，所述IPTV申告用户特征提取模块被配置成从所述用户质量感知数据中提取特征数据；以及

用户申告预测模块，所述用户申告预测模块被配置成将所提取的特征数据输入根据本发明所提供的方法训练而成的IPTV用户申告预测模型，得到用户申告概率。

根据本发明的进一步实施例，所述用户申告预测模块被进一步配置成：

响应于预测的用户申告概率大于预定阈值，触发预警；以及

提供与提取的特征数据相匹配的潜在申告原因。

与现有技术中的方案相比，本发明所提供的IPTV用户申告预测方法至少具有以下优点：

1、和现有技术相比，对比当前IPTV运维对于IPTV申告用户的预测，本专利的方法准确率更高，且能够准确的提供申告原因；

2、本发明提供了一种基于机顶盒探针质量监测来预测IPTV用户申告的系统和方法，通过准确提取申告用户特征，实现了自动化预测用户申告概率，方法简单、人工依赖性小，有效发挥了数据价值；

3、本申请结合机顶盒探针采集的用户感知数据，并对IPTV质差数据进行了多重特征提取，使得最终预测结果准确率较现已有算法提高了44.8％。方法可靠、有效，更加合理的进行了预测。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1是根据本发明的一个实施例的用于预测IPTV用户申告的系统的示例结构图。

图2是根据本发明的一个实施例的用于训练IPTV用户申告预测模型的方法的示例流程图。

图3是根据本发明的一个实施例的用于预测IPTV用户申告的方法的示例流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

图1是根据本发明的一个实施例的用于预测IPTV用户申告的IPTV用户申告预测系统100的示例结构图。如图1中所示，系统100可包括IPTV用户质量感知数据处理模块101、IPTV申告用户特征提取模块102以及用户申告预测模块103。

IPTV用户质量感知数据处理模块101可被配置成获取由安装在IPTV机顶盒中的探针模块采集到的视频播放质量数据，随后对采集到的视频播放质量数据进行预处理，得到用户质量感知数据。在一个示例中，用户质量感知数据是反映IPTV用户播放视频质量感知的结构化数据。

在一个示例中，由机顶盒的探针模块采集并提供的数据可能来自于原始话单数据。原始话单数据可包括非常多的参数或字段，例如每一行数据有超过100列的字段。此外，原始话单数据中可能还包含了许多无效、重复的数据。因此，对数据进行预处理可以改善后续的大数据技术运用的效率。

在一个示例中，对原始话单数据的预处理可包括但不限于对数据进行清洗、提取、转换、合并等操作。

数据清洗包括对异常数据进行校验或清理，清洗掉用户数据异常、以及视频播放质量数据异常的部分，例如：

用户id数值——校验用户id是否正常，清理非正常数据，例如用户id为0、用户id为测试用户、或者用户id为其他内部用户等；

视频播放优良率——校验优良率是否正常，清理异常数据，例如超过常规阈值的数据；

丢包数/总包数——校验丢包数/总包数是否正常，清理异常数据，例如超过常规阈值的数据。

数据提取包括从原始话单数据的诸多数据字段中提取能够反映视频播放质量的数据，包括但不限于：卡顿次数、CPU使用率、内存使用率、清晰度、丢包数、总包数等等。

数据转换包括将原始话单的数据格式转换成统一的待处理的格式，以及将不同格式的同一数据指标转换成相同的数据格式。例如，采集自不同厂商的机顶盒的数据可能存在数据格式差异，不同地区的IPTV服务运营商规定的数据格式本身也可能存在差异，通过转换可统一来自不同数据源的数据的格式。

数据合并包括将相关数据合并在一起，例如基于用户维度对数据进行合并，将需要的数据集中在一张表中。

总得来说，IPTV用户质量感知数据处理模块101的主要功能是将原始话单拆分映射成用于反映系统内部用户播放视频质量感知的数据结构。

IPTV申告用户特征提取模块102可被配置成对经处理的用户质量感知数据进行分析，并从中提取与用户申告的相关性较大的特征。根据一个实施例，IPTV申告用户特征提取模块102可进一步包括申告数据提取模块104以及用户特征提取模块105。

申告数据提取模块104用于从用户质量感知数据中进一步提取与用户申告相关的数据，即对用户申告有影响的数据。在一个示例中，数据提取可包括以下步骤中的一步或多步：

(1)群障过滤

首先，在探针监测质量存在异常的数据中，有部分是因为诸如局部区域线路问题等造成的群障情况，即局部区域有较多数量的用户设备同时发生故障或者申告故障。由于群障情况相对偶发，因此这种情况下的质量监测数据虽然异常，但并不能很好地反映正常情况下的用户申告的特征，所以不应被纳入分析和考虑。筛选过滤完群障后的数据是能够反映对用户主观感知有影响的异常数据。

(2)质差时间块提取

可选地，在经筛选过滤群障后的数据中，进一步提取一定周期内连续质差且超过规定阈值的时间块，例如每5分钟卡顿(FreezeCount)次数大于2的时间块。可以理解，偶尔的质差(例如卡顿)也是相对常见的，可能是各种原因造成的，但通常只有短时间内多次出现才会导致用户做出申告的决定。因此，通过这一步骤可以进一步筛选出与用户申告相关性更大的数据。

(3)质差终端提取

可选地，在上述筛选的基础上，可进一步判断发生质差情况的时间块在该终端每天有效播放时间里的比例是否达到规定阈值。例如，一天中质差时间块占有效播放时间的比例是否达到5％，将达到5％的终端确定为质差终端，并筛选出与该终端有关的数据。可以理解，质差终端的用户与普通用户相比更有可能进行申告。

(4)长期质差终端提取，

可选地，在被确定为质差终端的终端中，可进一步判断其被认定为质差终端的天数在每个月中的次数是否达到阈值。例如，该终端在一个月内被认定为质差终端的天数超过10天，这类情况可以被认定为存在长期质差问题，这类终端可被确定为长期质差终端，并筛选出与该长期质差终端有关的数据。可以理解，长期质差终端的用户与普通用户或质差终端的用户相比更有可能进行申告。

通过上述步骤，可提取出与因质差导致申告的终端相关的数据。

用户特征提取模块105可被配置成通过分析上述处理后的数据，提取与用户申告相关性较大的特征作为申告用户特征。在一个示例中，本申请的特征提取模块可执行多重特征提取。

在一个示例中，提取申告用户特征可包括对数据进行预处理，例如可针对空闲时间进行过滤、规定连续多个采样周期质差次数的范围、规定需存在丢包情况等等。基于这些预处理规则对数据进行又一次筛选和过滤。

随后，可基于数据分析技术来构建申告用户特征的判断规则。例如，通过诸如数据分布分析等方法，可发现并确定与用户申告相关性较大的特征，这些特征反映申告用户的某些共同特点，例如卡顿次数、丢包率、TS总包数、CPU/内存使用率等，并且归纳出申告用户的不同指标的典型数值分布，从而可将具体的指标或多个指标的组合作为申告用户的典型特征。例如，一个示例性的申告用户特征规则为：

T

10

Lsp>0；

Tsp>0

其中T

IPTV申告用户预测模块103可被配置成提取的特征来训练用于预测用户申告的模型。在一个示例中，可以使用现有的机器学习技术来训练用于预测用户申告的模型。例如，提取的特征适合用于作为XGBoost模型的输入。可以理解，这些数据都是实际的真实数据(即可以作为ground truth)，因此十分适合作为神经网络的训练数据和测试数据。根据需要，也可以将一定数量的没有进行用户申告的数据作为负样本。通过机器学习，可以获得能够基于输入的指标来给出用户申告概率的输出。

可选地，可将申告用户特征与具体的申告原因进行关联。在一个示例中，真实的用户申告都有相应的申告及排障记录，因此可知晓导致用户申告的不同情况下的申告原因。由此，在预测用户申告的同时，还可以同时给出匹配的申告原因。可选地，申告原因可被标准化。

使用经训练的用于预测用户申告的模型，系统100可实现基于机顶盒探针质量检测数据来对预测IPTV用户的申告概率。在一个示例中，IPTV用户质量感知数据处理模块101可类似地对获取到的探针数据进行处理，得到可供特征提取的用户质量感知数据。IPTV申告用户特征提取模块102对用户质量感知数据进行申告用户特征提取，得到各用户的特征数据，并提供给用户申告预测模块103。用户申告预测模块103将特征数据输入到经训练的用于预测用户申告的模型，得到用户申告概率。可选地，响应于预测的用户申告概率大于预定阈值，触发预警，并分析潜在的申告原因，例如将与提取的用户特征相匹配的申告原因作为潜在申告原因。

附加地，结合本申请的探针所采集的质量检测数据，可提取关于用户经常使用的时间段及节目观看的偏好，将预测结果结合重点用户进行优先和重点维护。

图2是根据本发明的一个实施例的用于训练IPTV用户申告预测模型的方法200的示例流程图。如图2中所示，方法200开始于步骤202，获取由安装在IPTV机顶盒中的探针模块采集到的质量监测数据。

接着，在步骤204，对采集到的质量监测数据进行处理，得到用户质量感知数据。如上文中提到的，对采集到的质量监测数据进行处理可进一步包括：清洗异常数据；提取反映视频播放质量的数据；将数据转换成统一的数据格式；以及对相关数据进行合并。

随后，在步骤206，从用户质量感知数据中提取特征数据。如上文中提到的，从用户质量感知数据中提取特征数据可进一步包括：从用户质量感知数据中提取与用户申告有关的用户申告数据；对用户申告数据进行分析以构建申告用户特征判断规则；以及基于用户特征判断规则提取所述特征数据。

可选地，提取用户申告数据可进一步包括以下步骤中的一步或多步：群障过滤；质差时间块提取；质差终端提取；以及长期质差终端提取。

可选地，对用户申告数据进行分析以构建申告用户特征判断规则可进一步包括：基于数据分析技术来确定与用户申告相关的一个或多个特征；分析该一个或多个特征的数值分布；以及将所述一个或多个特征的数值分布组合成用户特征判断规则。

可选地，基于用户特征判断规则提取特征数据可进一步包括：筛选满足用户特征判断规则的数据；以及从筛选出的数据中提取所确定的与用户申告相关的一个或多个特征作为特征数据。

在步骤208，将所提取的特征数据作为训练数据，通过机器学习训练IPTV用户申告预测模型。

可选地，方法200还可包括步骤210，将特征数据与真实的用户申告原因相关联作为预测的申告原因。关联的申告原因可在预测时被提供作为与预警的用户特征相匹配的潜在用户申告原因。

图3是根据本发明的一个实施例的用于预测IPTV用户申告的方法300的示例流程图。如图3中所示，方法300开始于步骤302，获取由安装在IPTV机顶盒中的探针模块采集到的质量监测数据。在步骤304，对采集到的质量监测数据进行处理，得到用户质量感知数据。在步骤306，从所述用户质量感知数据中提取特征数据。最后，在步骤308，将所提取的特征数据输入经训练的IPTV用户申告预测模型，得到用户申告概率。

以上描述的本发明的用户申告预测方法和系统构建了一套IPTV申告用户特征判断提取模块，通过与机顶盒探针采集的用户感知数据结合，并结合对IPTV用户质量感知数据的预处理，对IPTV质差数据进行了多重特征提取，实现了自动化预测用户申告概率。

与现有方法相比，本申请的用户申告预测方法和系统的改进主要在于：

(1)将探针采集到的视频播放质量数据进行清洗、提取、转换、合并操作，并基于用户维度将原始话单进行转换与合并，将原始话单拆分映射成反映系统内部用户播放视频质量感知的数据结构；

(2)IPTV申告用户特征提取模块采用群障过滤、质差时间块提取、质差终端提取、长期质差终端提取及申告用户预处理进行特征提取；以及

(3)IPTV申告用户预测模块对上述所得特征适用于模型的输入，通过模型进行分析和求解，计算得到IPTV用户的申告概率。

以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。