一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统

摘要

一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统，涉及信息传播预测技术领域，用以解决在一段时间之后信息在社交网络中流行度增长量的预测问题。本发明的技术要点包括：使用图神经网络对级联图进行建模，得到聚合邻居节点状态与特征的节点表示；通过深度游走算法对整体级联网络图进行采样，获得级联图的序列集合，将图形神经网络嵌入表示与Deepwalk嵌入表示进行拼接来更新序列中各个节点的信息；将附有邻居信息的节点表示序列输入双向LSTM中，同时将时序信息经过注意力机制引导对序列进行整合，增强了级联预测模型的理解能力与预测能力。本发明兼顾级联传播路径间与传播路径内影响力传递性，以及纳入时序与结构因素互补性的有效性。

说明书

技术领域

本发明涉及信息传播预测技术领域，具体涉及一种基于传播路径间与传播路径内影响力 建模的信息传播预测方法及系统。

背景技术

随着互联网和移动设备功能的增强，用户日益增长，在线社会网络平台成为用户发表意 见、表达思想的重要途径，极大的促进了信息的产生和传播。面对如此鱼目混杂的信息，不 仅为平台的管理者带来管理失控的威胁，也会对广大用户造成信息过载的困扰。做好在线网 络中的信息传播预测，可以提前从海量的信息中预测并筛选出来未来的爆发式热门消息，从 而为平台管理者提供科学的管理指导，也为用户筛选信息起到很好的过滤作用。然而，网络 中用户的相互关注与转发行为，促成了信息级联现象-当前用户的信息传播行为会带动与其相 关联的其他用户的信息传播行为，这种级联效应以及平台的开放性，为信息传播预测带来一 定的挑战。

信息传播预测从研究方法上一般分为三类。(1)基于特征的方法，在观测时间窗口内， 提取一些特征，比如内容特征，用户特征，结构特征，时序特征，通过未来的流行度，直接 做监督信息来进行学习，然而特征的提取有很强的人为主观因素，且不具有普适性。(2)生 成式方法，主要把现实网络中社会现象描述成一系列连续时间域中的事件序列，将信息的传 播积累看成是一个转发行为的到达过程，主要侧重于对每条信息转发过程中的速率函数独立 建模。代表性工作主要有增强泊松过程，以及霍克斯点过程，这些模型不受未来的预测信息 监督，预测性能受到一定的影响。(3)基于深度学习的方法，近来受深度学习模型在多个领 域表现优异的启发，(3)基于深度学习的来进行级联预测的方法应运而生，旨在通过端到端 的方式对消息的传播结构，参与用户，传播的消息内容，传播事件发生的时序信息进行自动 地深度表示，进行单因素或者多因素融合来对信息级联最终的规模进行预测，特别地，对结 构因素进行建模时，他们第一步将传播级联图通过多重随机游走，得到一组传播级联路径的 集合。每条级联路径不仅可以携带消息传递者的信息，而且刻画信息流的流向路径。

然而，现有方法通过随机游走建模的每条传播路径彼此独立，相互之间毫无联系。现实 情况中，每条传播路径间的用户经过多轮传播其重要程度，影响力是不断变化的，因此，现 有方法忽略了不同传播路径之间彼此关联的事实。此外，现有的深度学习的方法中，普遍忽 略了信息传播中至关重要的时序因素，因此，如何更好地在神经网络信息传播级联预测方法 中融入时序因素也是需要关注的问题。

发明内容

鉴于以上问题，本发明提出一种基于传播路径间与传播路径内影响力建模的信息传播预 测方法及系统，旨在提供一种基于传播路径内(Intra-path)与传播路径间(Inter-path)影响力建 模的信息传播预测方法，融合传播结构因素与时序因素来进行社交网络中信息的流行度增量 预测。

根据本发明的一方面，提供一种基于传播路径间与传播路径内影响力建模的信息传播预 测方法，该方法包括以下步骤：

步骤一、获取历史信息传播数据集；

步骤二、根据历史信息传播数据集训练基于图卷积时空耦合神经网络的信息传播预测模 型；

步骤三、将待预测信息数据输入训练好的信息传播预测模型中，获取待预测信息数据的 信息传播预测结果。

进一步地，步骤二中所述基于图卷积时空耦合神经网络的信息传播预测模型构建如下：

1)深度图嵌入表示：利用图卷积神经网络模型表示信息传播级联图中的每个节点，获得 聚合邻居节点信息的节点表示即图嵌入表示P

2)Deepwalk级联序列采样：利用深度游走算法对信息传播级联图进行采样，得到K条 长度为N的级联传播路径序列，经过深度游走算法的训练获得每个节点的特征表示即序列嵌 入表示P

3)信息传播级联图结构因素建模：将表示更新后的节点序列分别输入双向长短时记忆模 型中，得到信息传播级联图的结构特征表示A；

4)信息传播级联图时序因素建模：使用门控循环单元模型提取时序特征表示M，通过注 意力机制，时序信息指导下赋予不同的级联序列不同的权重，获得融合时序因素与结构因素 的信息传播级联图的最终表示O。

进一步地，所述深度图嵌入表示中获得聚合邻居节点信息的节点表示即图嵌入表示P

对于信息传播级联图中的任意节点v在m+1层的表示，消息传播的聚合函数表示为：

式中，AGG表示消息传播的聚合函数；

更新函数表示为：

式中，σ表示sigmod非线性激活函数；

用矩阵的方式来表示图神经网络节点间的传播与更新：

其中，H表示节点的嵌入表示；

进一步地，所述Deepwalk级联序列采样中对信息传播级联图进行采样，获得每个节点的 特征表示即序列嵌入表示P

采样K条长度为N的级联序列的过程为：根据下述公式确定路径的起始点：

其中，deg

确定起始节点v后，在信息传播级联图中其出度邻居结点的集合为N

当邻居节点的采样长度达到设定值N，或者没有下一个邻居结点时，当前采样序列结束； 当序列的数目达到设定值K时，随机游走采样结束，得到K条信息传播级联图的传播路径；

基于自然语言处理领域中的Word2Vector模型，视每个节点为单个的单词，每条传播路 径视为一个句子；级联序列中的每个节点被表示为一个独热向量

进一步地，所述信息传播级联图结构因素建模中将表示更新后的节点序列分别输入双向 长短时记忆模型中得到信息传播级联图的结构特征表示A的具体过程包括：

前向LSTM输出隐状态序列

进一步地，所述信息传播级联图时序因素建模中获得融合时序因素与结构因素的信息传 播级联图的最终表示O的具体过程包括：

将信息传播级联图中每次事件发生的时间点映射至时间轴中，得到相应的异步时间戳；

对传播事件提取相应的时间特征，获得时间特征序列；

将时间特征序列输入门控循环单元模型，获得事件对应的隐状态；

对每个时间步依次迭代嵌入后，得到信息传播级联图的时序嵌入表示；信息传播级联图 中K条长度为N的级联路径被表示为A，代表着信息传播级联图的结构特征，信息传播级联 图的时序特征被表示为M；

对时序特征M进行平均池化得到时序向量

式中，

式中，K表示传播路径的数量；

通过加权池化后得到级联图的最终表示O：

式中，

进一步地，所述基于图卷积时空耦合神经网络的信息传播预测模型构建还包括：在获得 信息传播级联图的最终表示O后，使用全连接神经网络将模型与最终要预测的级联流行度增 量ΔS

ΔS

其中，MLP是多层感知机；h(g

进一步地，所述历史信息传播数据集包括微博转发数据和论文发表后引用数据。

进一步地，所述信息传播级联图表示为

本发明的有益技术效果是：

本发明提出一个新的端到端的模型来充分探索扩散预测中的级联结构，以解决一段时间 之后信息在社交网络中流行度增长量的预测问题，为舆情评估、网站推荐、流行病传播等应 用提供有效的决策支持。主要包括：1)使用图神经网络对级联图进行建模，得到聚合邻居节 点状态与特征的节点表示；与此同时，通过深度游走算法(Deepwalk)对整体级联网络图进 行采样，获得级联图的序列集合，将图形神经网络(GNN)嵌入表示与Deepwalk嵌入表示进行 拼接来更新序列中各个节点的信息，使得路径上的影响传递性在Inter-path与Intra-path上都 能得以兼顾；2)将附有邻居信息的节点表示序列输入双向LSTM(Bi-directional LSTM)中， 同时将时序信息经过注意力机制引导对序列进行整合，以体现级联时序因素与拓扑结构因素 的互补性，增强了级联预测模型的理解能力与预测能力。

本发明在两个真实的应用场景—微博的转发增量预测和学术论文被引次数增量预测中进 行实验，并将本发明与其他现有方法进行比较，进一步验证了兼顾级联传播路径间影响力传 递性与传播路径内影响力传递性以及纳入时序与结构因素互补性的有效性。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下 面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明 本发明的优选实施例和解释本发明的原理和优点。

图1是本发明实施例中基于图卷积时空耦合神经网络的信息传播预测模型的结构示意图；

图2是本发明实施例中微博数据集的流行度标准化表示(a)和APS数据集的流行度标 准化表示(b)；

图3是本发明实施例中微博网络和APS学术网络中信息的传播规模分布图；其中，(a) 对应微博网络，(b)对应APS学术网络；

图4是本发明实施例中序列长度和数量对预测性能的影响；其中，(a)对应序列长度， (b)对应序列数量。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范 性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实 施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护 的范围。

本发明实施例提供一种基于传播路径间与传播路径内影响力建模的信息传播预测方法， 该方法包括以下步骤：

步骤一、获取历史信息传播数据集；

步骤二、根据历史信息传播数据集训练基于图卷积时空耦合神经网络的信息传播预测模 型；

步骤三、将待预测信息数据输入训练好的信息传播预测模型中，获取待预测信息数据的 信息传播预测结果。

流行度增量预测问题定义：假设t

对于目标消息c

本发明提出一个深度学习端到端的框架，通过给定的g、t、g

(1)深度图嵌入表示：使用GCN表示信息传播级联图G中的每个节点，得到聚合邻居节点信息的节点表示P

(2)Deepwalk级联序列采样：使用Deepwalk对级联图进行采样，得到K条长度为N的级联传播路径序列，经过Deepwalk的训练每个节点的特征表示为P

(3)级联图结构因素建模：将表示更新后的节点序列分别输入Bi-LSTM中，得到级联 图的结构特征表示A。

(4)级联图时序因素建模：使用GRU提取时序特征表示M，通过注意力机制，时序信息指导下赋予不同的级联序列不同的权重，得到融合时序因素与结构因素的信息级联图的最 终表示O。

下面对每个步骤分别进行说明。

1.深度图嵌入表示

图神经网络可以看作一种信息传递和整合的方法，在从图结构数据中提取特征方面取得 了很好的效果。有很多图神经网络的变体如Graph attention networks(GAT)，Graph autoencoders(GAE)，Graph generative networks(GGN)以及Graph spatial-temporal networks (GSTN)等，他们通过在节点之间传播信息，并结合可微的聚合函数和更新函数，迭代地传 递并增强节点的特征表达。本发明将级联图上用户的状态更新为聚合邻居信息后的状态，通 过这种方式动态地学习级联图的用户表示。

在图神经网络过程中，消息传播机制包括两个步骤：消息聚合(Aggregation)和节点更 新(update)；消息聚合是指聚合邻居节点的状态与特征，节点更新是指学习中心节点的嵌入 表示。在本发明实施例中，使用邻接矩阵的加权求和来表示消息聚合机制，使用向量加和的 非线性变换表示得到节点向量的更新。

具体的，对于级联图g

其中，N(v)表示节点v的邻居节点集合；

用矩阵来表示图神经网络节点间的传播与更新如公式(4)所示：

其中，

以上，通过图神经网络对邻居节点的信息聚合，节点的影响力得到更好的刻画，从而将 每条传播路径之间的影响的传递性纳入。

2.Deepwalk级联序列采样

本模型的第二步需要将目标级联图g

其中，deg

其次，确定初始结点v后，在级联图g

最后，当序列的数目达到设定值K时，随机游走采样结束。因此得到K条级联图的传播 路径，每条包含10个节点。基于自然语言处理领域中的Word2Vector模型，视每个节点为单 个的单词，每条传播路径视为一个句子。级联序列中的每个节点被表示为一个独热向量

3.信息传播级联图结构因素建模

一般来说，每一条序列不仅携带着消息传递者的信息，而且刻画着信息流的流向路径。 Recurrent Neural Network(RNN)，特别是Long Short Term Memory(LSTM)、GatedRecurrent Unite(GRU)，专门用来处理和预测时序问题，它可以充分挖掘数据中的时序信息，充分分 析时序信息的深度表达。用LSTM来建模本发明中的级联序列数据。采用双向LSTM模型来 建模信息在级联路径内部(Intra-path)的传播流程。当使用前向LSTM时从左向右对节点进 行读取，来刻画前期节点对后期节点的影响，而使用后向LSTM时从右向左读取节点，来刻 画后期节点对早期节点的影响。前向LSTM输出隐状态序列

a

经过双向LSTM建模后，可得到级联g

4.信息传播级联图时序因素建模

将级联图g

M

对每个时间步依次迭代嵌入后，可得到级联g

则第i条消息的第m条级联路径的权重

最后通过加权池化(weighted sum pooling)后得到级联的最终表示：

5.输出层

使用全连接神经网络将模型与最终要预测的级联流行度增量ΔS

ΔS

其中，MLP是多层感知机。

本发明最终的任务是预测，给定g，t，Δt，和g

其中，Q是消息的数量，ΔS

基于图卷积时空耦合神经网络信息传播预测(DeepCasPath)算法的伪代码如下所示：

进一步通过实验验证本发明的技术效果。

对于Word2Vec的训练，向量维度为50，上下文窗口大小10，训练5个epoch。关于随机游走计算方法，对于每一个级联图共产生200个最大长度为20的随机游走序列。模型使用双向双层LSTM，隐藏层维度设置为32。全连接层的维度分别为32与16。学习率设置上， 对于不同的网络模块使用不同的学习率。其中图嵌入与word2vec词嵌入，学习率为5e

为验证模型的通用性与有效性，本发明在两个不同的应用场景下都进行了实验，分别是 新浪微博转发数据集和American Physical Society(APS)。数据集的统计情况总结如表1所示。

表1数据集统计情况

a)Sina Weibo(https://github.com/CaoQi92/DeepHawkes)：第一个数据集是来自微博平台， 此平台是一种基于用户关系信息分享、传播以及获取的通过关注机制分享简短实时信息的广 播式的社交媒体、网络平台。此数据集由DeepHawkes提供。用来验证消息在未来某一个时 间点传播流行度的增量，选取2016年6月1号的全天的全量的微博。与DeepHawkes的实验 设置类似，考虑到午夜发布的内容不太可能被浏览，以及每个用户作息时间的差异，只保留 发布时间在8:00-19:00的转发量在110-1000的微博。将70％的数据划分为训练集，15％的数 据划分为验证集，其余的划分为测试集。观测时间选取的是消息发布之后的一个小时、两个 小时以及三个小时。从图2(a)中可以看出，消息发布后的第24小时的流行度已经接近最终的 流行度，因此预测时间选取于消息发出后的第24小时。同时也利用到了微博传播的转发路径， 揭示用户在什么时间点进行了转发，以及用户从谁那边转发的当前消息。

b)APS：第二个数据集是APS，包含了发表在ACM、DBLP、MAG等数据库上的63万 论文及其引用关系，选取了其中DBLP的数据来进行文章引用量增量预测的验证。如果文章 A引用文章B，则级联图中用一条有向边从A指向B。观测时间窗口分别是分布时间之后的 3年、6年、9年，观测时间窗口分别是发布时间之后的3年、6年、9年，从图2(b)中可 以看出，文章发布后的第20年其引用量已经接近最终引用量。因此，预测时间选取文章发布 之后的第20年，本发明要预测的目标是论文发表后文章第20年的引用增量。同时，过滤观 测窗口内引用量小于10的论文。与微博数据集类似，将APS论文引用数据挑选出70％的部 分作为训练集，剩下的部分一半为测试集、一半为验证集。

图3(a)与3(b)展示了微博网络和APS学术网络中信息的传播规模分布。在图中横坐标为 信息的流行度(微博转发量或论文引用次数)，纵坐标为拥有一定流行度的信息所占比例。可 以看出，在log-log尺度下(即横纵坐标的值均取对数)，数据近似一条直线，表明各数据集 中相关级联的大小均服从幂律分布。

考虑到社交网络中消息流行度的分布呈幂律分布，本发明选取对数下的均方误差(Mean Square Log-transformed Error，MSLE)来作为信息流行度增量预测的评估指标。对数坐标之 下的均方误差被定义为：

其中，Q表示消息的总数量，ΔS

此外，考虑到Baseline方法中SEISMIC模型对离群值的敏感性，本发明与DeepHawk作 同样的处理，即仅使用平方对数误差的中位数(Median of Square Log-transformedError，mSLE) 来对SEISMIC模型进行评估，度量模型预测误差的中间水平。

现有的流行度预测的方法当中，主要有三类预测方法，在三类方法中选取了如下几种代 表性的表现优异的模型来作为本发明的baselines。具体如下。

(1)基于特征的方法：近期的研究表明，结构特征和时序特征能有效预测在线内容的流 行度，而内容特征和用户特征相对表现较弱。因此本发明在特征提取的方法当中，选择提取 了时序和结构特征。具体地，结构特征：节点的总个数、叶节点的个数、节点的度的平均值、 节点的度的最大值、节点的度的第90个百分位；时间特征：两次转发(引用)之间的时间间 隔的平均值，两次转发(引用)之间的时间间隔的最大值。获取以上特征之后，使用线性回 归将这些特征映射到信息级联的流行度增量。

(2)基于生成式的方法：生成式方法本发明选择霍克斯点过程方式中具有代表性的方法： SEISMIC使用Hawkes自激励点过程刻画信息传播过程，利用用户粉丝数作为用户影响力， 建模每次转发的自激励过程，并使用幂率函数刻画信息传播过程中的时间衰减模式。

(3)基于深度学习的方法：

a)DeepCas，利用随机游走策略从级联结构中提取多条节点序列，使用注意力机制为各 条序列分配权重，得到级联的特征表示，最后映射到最终的流行度增量.自动学习每条在线 内容的级联表示并预测最终的流行度增量。

b)DeepHawke，利用端到端的深度学习刻画信息传播过程中的可解释性影响因素，包括 用户影响力、自激励机制和时间衰减效应，具备良好的可解释性和较好的预测能力。

表2在新浪微博与APS数据集上与Baseline方法比较的实验结果

表2总结了DeepCasPath和Baselines方法在新浪微博数据集、APS数据集上的性能比较。 从表中可以看出DeepCasPath的预测结果明显优于其他4种对比方法。其中，基于特征的方 法，表现得不甚理想，这是因为手工提取特征的方式很难获得传播级联结构的有效特征。考 虑到SEISMIC对极值点敏感，只展示在mSLE指标下的结果，由于SEISMIC训练时未利用 最终的流行度增量作为监督，因此预测性能也较差。此外实验结果还表明，DeepHawkes的 预测性能优于DeepCas，因DeepHawkes使用转发/引用路径序列，将时间因素纳入考虑，考 虑了各个节点之间的到达顺序。然而，与DeepHawkes相比，本发明提出的模型在MSLE与mSLE的预测性能上提升15％左右。这是因为DeepHawkes仅使用多条序列表示传播级联， 而忽略级联传播多条序列之间并非是独立的，因此预测性能上差于DeepCasPath。

为验证模型中每一个模块的有效性，设置了消融实验，对模型进行模块的删减，或者模 块的更换：

DeepCasPath w/o GCN：将图1中(1)部分GNN对节点进行邻居节点的聚合模块去掉，来 验证GNN部分对级联传播路径间影响力的建模的贡献力度。

DeepCasPath w/GRU：将图1中(3)部分中的LSTM替换成GRU，使用GRU来建模级联图中的结构因素，以此来验证选取GRU作为信息级联预测中序列建模的优越性。

DeepCasPath w/o Time：将图1中(4)部分时序因素与经过GRU建模序列后的结构因素进 行注意力机制融合的模块去掉，以此来观察级联传播中时序因素的重要程度。

表3在新浪微博与APS数据集上与变体方法比较的实验结果

在微博数据集与APS数据集上消融实验的对比结果如表3所示，从表中可以看出，DeepCasPath与其他变体相比，误差明显降低。当分别去除DeepCasPath的GNN和Time部 分后，以及当把建模结构特征的Bi-LSTM模型替换成Bi-GRU之后，方法的预测性能均有不 同程度的下降。当去除GNN嵌入模块，MSLE与mSLE增长4％-15％，表明传播路径间影响 力传递性的纳入，对预测性能带来极大的提升。此外，去除了DeepCasPath的时间因素，预 测性能也不同程度地下降，表明模型的时间因素的有效性。综上所述，GCN节点嵌入、LSTM 结构因素建模、时间因素建模是DeepCasPath中的关键组成部分，从本质上提高了信息级联 预测的性能。最后，通过表2、表3在新浪微博数据集和APS数据集上的实验结果，发现所 有方法在新浪微博数据集上的流行度预测误差更大。一种可能的解释是，因为微博是相对更 开放的系统，消息的转发或者消息最终的流行度会受到非常多的因素的影响，它是一个更难 预测的一个环境，而在论文引用的场景当中，在学术圈内是一个相对比较稳定发展的状态，所以未来的流行度也会相对比较好预测。

同时，对部分参数的选择也进行了对比实验，选取微博1小时、2小时、3小时的训练集 作为参数对比实验的数据，预测性能会随LSTM隐藏层大小变化而改变，在隐藏层大小为32 时，MSLE与mSLE值均最低，说明隐藏层大小为32时，微博转发增量预测性能最佳。

对于DeepWalk采样而得的K条长度为N的序列集合，其中K与N数值的确定，本发明进行了参数对比，如图4(a)与(b)所示，当序列长度为20，数目为200时，模型所表现 得预测性能最优。

本发明另一实施例提供一种基于传播路径间与传播路径内影响力建模的信息传播预测系 统，该系统包括：

数据获取模块，其配置成获取历史信息传播数据集；

模型训练模块，其配置成根据历史信息传播数据集训练基于图卷积时空耦合神经网络的 信息传播预测模型；所述基于图卷积时空耦合神经网络的信息传播预测模型构建如下：

1)深度图嵌入表示：利用图卷积神经网络模型表示信息传播级联图中的每个节点，获得 聚合邻居节点信息的节点表示即图嵌入表示P

2)Deepwalk级联序列采样：利用深度游走算法对信息传播级联图进行采样，得到K条 长度为N的级联传播路径序列，经过深度游走算法的训练获得每个节点的特征表示即序列嵌 入表示P

3)信息传播级联图结构因素建模：将表示更新后的节点序列分别输入双向长短时记忆模 型中，得到信息传播级联图的结构特征表示A；

4)信息传播级联图时序因素建模：使用门控循环单元模型提取时序特征表示M，通过注 意力机制，时序信息指导下赋予不同的级联序列不同的权重，获得融合时序因素与结构因素 的信息传播级联图的最终表示O；

信息传播预测模块，其配置成将待预测信息数据输入训练好的信息传播预测模型中，获 取待预测信息数据的信息传播预测结果。

本发明实施例一种基于传播路径间与传播路径内影响力建模的信息传播预测系统的功能 可以由前述一种基于传播路径间与传播路径内影响力建模的信息传播预测方法说明，因此系 统实施例未详述部分，可参见以上方法实施例，在此不再赘述。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技 术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对 本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。