一种基于级联深度图谱知识的慕课智能推荐方法及系统

摘要

本发明公开了一种基于级联深度图谱知识的慕课智能推荐方法及系统，方法包括：构建标题关键词知识图谱和课程标题知识图谱；根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文；根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重；根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量；将所述知识水平融合向量通过平均池化层处理后，输入全连接层得到用户学习对应课程的预测概率。本发明提高了推荐的准确性，可广泛应用于信息推荐技术领域。

说明书

技术领域

本发明涉及信息推荐技术领域，尤其是一种基于级联深度图谱知识的慕课智能推荐方法及系统。

背景技术

近年来，慕课在教育领域引起了公众的广泛关注。为了给学习者提供个性化的课程学习服务，大量的在线课程推荐系统被开发出来。然而，课程推荐系统仍然存在三个未解决的挑战：1)如何充分利用从粗粒度到细粒度的课程信息；2)如何很好地捕捉课程之间的学习顺序信息；3)如何区分高相关课程。

在线课程推荐问题可以定义为如何根据学习者的历史学习活动(即已学过的历史课程和相应的学习反馈)向他们推荐合适的课程。考虑到学习者的学习积极性，在线课程推荐系统的主要任务是根据学习者的喜好和知识背景给出推荐的课程列表。现有的在线课程推荐系统主要可以分为两类，分别是基于协同过滤的推荐系统和基于模型的推荐系统。基于协同过滤的推荐系统根据学习者的档案或课程信息预测学习者的后继课程，然而，协同过滤无法同时利用学习者和课程的信息，容易错过很多有效信息，导致课程推荐效果不佳。为了解决这个问题，基于模型的推荐系统应用了机器学习的方法。为了进一步提高推荐性能，注意力机制和强化学习被引入到基于深度学习的推荐系统中。尽管基于深度学习的推荐系统在网购推荐、电影推荐等场景中取得了巨大的成功，但是这些方法忽略了课程之间的联系，从而在在线课程推荐中的表现仍然受到影响。

发明内容

有鉴于此，本发明实施例提供一种准确性高的基于级联深度图谱知识的慕课智能推荐方法及系统。

本发明的一方面提供了一种基于级联深度图谱知识的慕课智能推荐方法，包括：

构建标题关键词知识图谱和课程标题知识图谱；

根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文；

根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重；

根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量；

将所述知识水平融合向量通过平均池化层处理后，输入全连接层得到用户学习对应课程的预测概率。

可选地，所述构建标题关键词知识图谱和课程标题知识图谱，包括：

对课程标题中的实体进行命名实体识别，得到课程标题中的第一实体；

从原始知识图谱中查询所述第一实体，然后根据所述第一实体构造第一子图；

从所述原始知识图谱中提取各个第一实体之间的关系；

查询在所述原始知识图谱中距离已识别实体一跳的实体来扩展所述第一子图，得到所述标题关键词知识图谱；

将每门课程作为一个整体，获取课程之间的学习顺序关系；

提取每个课程的上下文关系及类别关系来构造课程标题知识图谱。

可选地，所述提取每个课程的上下文关系及类别关系来构造课程标题知识图谱，包括：

构建先修信息和课程标题的语料库；

使用潜在语义索引模型训练语料库，计算课程标题和先修信息之间的相似度；

选择最相似的课程作为先修课程；

根据所述先修课程确定后继课程和平行课程，进而确定每个课程的上下文关系；

结合每个课程的上下文关系及类别关系来构造课程标题知识图谱。

可选地，所述根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文，包括：

根据课程之间的顺序构建有向图；

根据所述有向图中的顺序关系和课程类别关系，确定平行课程；

根据所述平行课程，确定所述有向图中的知识感知上下文；

其中，所述知识感知上下文包括先修课程、平行课程、后继课程以及学习反馈。

可选地，所述根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重，包括：

根据上下文感知的注意力机制，采用注意力网络来融合先修课程向量；

根据上下文感知的注意力机制，采用注意力网络来融合后继课程向量；

根据上下文感知的注意力机制，采用注意力网络来融合平行课程向量；

通过学习反馈的注意力融合，确定不同课程上下文嵌入的权重重要性。

可选地，所述根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量，包括：

通过TKKG卷积神经网络和CTKG卷积神经网络对历史课程进行知识级别融合，通过最大池化层输出知识水平融合向量。

本发明实施例的另一方面还提供了一种基于级联深度图谱知识的慕课智能推荐系统，包括：

第一模块，用于构建标题关键词知识图谱和课程标题知识图谱；

第二模块，用于根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文；

第三模块，用于根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重；

第四模块，用于根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量；

第五模块，用于将所述知识水平融合向量通过平均池化层处理后，输入全连接层得到用户学习对应课程的预测概率

本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如前面所述的方法。

本发明实施例的另一方面还提供了一种计算机可读存储介质所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

本发明实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前面所述的方法。

本发明的实施例构建标题关键词知识图谱和课程标题知识图谱；根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文；根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重；根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量；将所述知识水平融合向量通过平均池化层处理后，输入全连接层得到用户学习对应课程的预测概率。本发明提高了推荐的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的标题关键词知识图谱构造过程的示意图；

图2为本发明实施例提供的标题关键词知识图谱示意图；

图3为本发明实施例提供的课程标题知识图谱构造过程的示意图；

图4为本发明实施例提供的课程标题知识图谱示意图；

图5为本发明实施例提供的知识感知上下文提取示意图；

图6为本发明实施例提供的两步注意力融合示意图；

图7为本发明实施例提供的知识级别融合示意图；

图8为本发明实施例提供的课程推荐系统的整体结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

针对现有技术存在的问题，本发明实施例提供了一种基于级联深度图谱知识的慕课智能推荐方法，包括：

构建标题关键词知识图谱和课程标题知识图谱；

根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文；

根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重；

根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量；

将所述知识水平融合向量通过平均池化层处理后，输入全连接层得到用户学习对应课程的预测概率。

可选地，所述构建标题关键词知识图谱和课程标题知识图谱，包括：

对课程标题中的实体进行命名实体识别，得到课程标题中的第一实体；

从原始知识图谱中查询所述第一实体，然后根据所述第一实体构造第一子图；

从所述原始知识图谱中提取各个第一实体之间的关系；

查询在所述原始知识图谱中距离已识别实体一跳的实体来扩展所述第一子图，得到所述标题关键词知识图谱；

将每门课程作为一个整体，获取课程之间的学习顺序关系；

提取每个课程的上下文关系及类别关系来构造课程标题知识图谱。

可选地，所述提取每个课程的上下文关系及类别关系来构造课程标题知识图谱，包括：

构建先修信息和课程标题的语料库；

使用潜在语义索引模型训练语料库，计算课程标题和先修信息之间的相似度；

选择最相似的课程作为先修课程；

根据所述先修课程确定后继课程和平行课程，进而确定每个课程的上下文关系；

结合每个课程的上下文关系及类别关系来构造课程标题知识图谱。

可选地，所述根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文，包括：

根据课程之间的顺序构建有向图；

根据所述有向图中的顺序关系和课程类别关系，确定平行课程；

根据所述平行课程，确定所述有向图中的知识感知上下文；

其中，所述知识感知上下文包括先修课程、平行课程、后继课程以及学习反馈。

可选地，所述根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重，包括：

根据上下文感知的注意力机制，采用注意力网络来融合先修课程向量；

根据上下文感知的注意力机制，采用注意力网络来融合后继课程向量；

根据上下文感知的注意力机制，采用注意力网络来融合平行课程向量；

通过学习反馈的注意力融合，确定不同课程上下文嵌入的权重重要性。

可选地，所述根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量，包括：

通过TKKG卷积神经网络和CTKG卷积神经网络对历史课程进行知识级别融合，通过最大池化层输出知识水平融合向量。

本发明实施例的另一方面还提供了一种基于级联深度图谱知识的慕课智能推荐系统，包括：

第一模块，用于构建标题关键词知识图谱和课程标题知识图谱；

第二模块，用于根据所述标题关键词知识图谱和课程标题知识图谱，提取知识感知上下文；

第三模块，用于根据所述知识感知上下文进行上下文感知的注意力融合以及学习反馈的注意力融合，确定注意力融合权重；

第四模块，用于根据所述注意力融合权重对历史课程进行知识级别融合，得到知识水平融合向量；

第五模块，用于将所述知识水平融合向量通过平均池化层处理后，输入全连接层得到用户学习对应课程的预测概率

本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如前面所述的方法。

本发明实施例的另一方面还提供了一种计算机可读存储介质所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

本发明实施例的另一方面还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前面所述的方法。

下面结合说明书附图，对本发明的具体实现原理进行详细说明：

第一步：知识图谱构建

(1)标题关键词知识图谱(TKKG)的构造

首先，如图1和图2所示，本发明应用NER(命名实体识别)的技术来识别课程标题中的实体，并从外部原始知识图谱中查询这些实体。基于这些识别出的实体构造一个子图，并从原始知识图谱中提取它们之间的所有关系，并查询了在原始知识图谱中距离已识别实体的一跳的实体来扩展子图。

(2)课程标题知识图谱(CTKG)的构造

如图3和图4所示，本发明实施例将每门课程视为一个整体，引入课程之间的学习顺序关系。假设学生在学习课程B之前，需要先掌握课程A的知识，那么课程A称为课程B的先修课程；课程B是课程A的后继课程。提取每个课程的上下文关系(即先修课程，后继课程和平行课程)及类别关系来构造课程知识图谱。要获得先修课程，首先构建先修信息和课程标题的语料库，然后使用LSI(潜在语义索引)模型训练语料库，计算课程标题和先修信息之间的相似度，最后选择最相似的课程作为先修课程。

本实施例对以上两个知识图谱，应用知识图谱嵌入技术，分别得到它们的特征。

第二步：知识感知的上下文提取

如图5所示，本实施例根据教育学领域的学习迁移理论，学生将习惯于使用所学过的历史课程中的知识来更好地学习新课程。由于不同课程之间存在高度相关关系，为了更好地利用这些课程先修知识和课程之间的关系信息，本实施例基于历史学习课程、学习反馈、候选课程和学习反馈生成了一组特征向量，称为知识感知上下文。由于CTKG是由课程之间的顺序构建的有向图，对于每门课程，根据CTKG中的顺序关系，都会存在其先修课程和后继课程。此外，本实施例根据CTKG中课程类别的关系来定义平行课程。因此，对于任何一门课程，其知识感知上下文包括CTKG中的先修课程、平行课程和后继课程以及学习反馈。

第三步：两步注意力融合，如图6所示，该步骤具体包括以下两个部分：

(1)上下文感知的注意力融合

以先修课程为例，一门课程往往有不止一门先修课程。为了融合到一个向量中，本实施例提出了一种上下文感知的注意力机制，采用注意力网络来融合先修课程向量。后继课程和平行课程向量同理。

(2)学习反馈注意力融合

课程的学习反馈实际上反映了学习者的课程学习表现。根据学习迁移的理论，在先修课上表现不佳会阻碍学习者对后续学习阶段的兴趣，而先修课程的良好表现将增强学习者的信心。因此，本实施例使用学习反馈来确定不同课程上下文嵌入的权重重要性。

第四步：知识级别融合

如图7所示，本实施例的知识级别融合块具有两个具有相同架构的卷积神经网络：TKKG-CNN和CTKG-CNN。TKKG-CNN和CTKG-CNN都采用了TextCNN的架构。不同于TextCNN输出文本分类结果，在本发明中TKKG-CNN和CTKG-CNN都将最后一个最大池化层作为输出，然后把输出的向量平均融合在一起。

第五步：结果预测

将历史课程的知识水平融合向量通过平均池化层，最后，接入全连接层预测用户学习某一门候选课程的的概率。

综上，如图8所示，本发明的课程智能推荐系统的整体结构以及流程为以上五个步骤所描述。

本发明实施例为了证明有效性，本实施例将提出的算法与基于机器学习的方法(BPR-MF和FM)、基于深度学习的方法(MLP和NAIS)、基于知识图的方法(CKE和DKN)和强化学习进行了比较在线课程推荐方法(HRL)，如下：

BPR-MF使用隐式反馈推荐物品。BPR-MF提出了一种用于个性化排名的通用优化方法BPR-Opt，即计算推荐问题的贝叶斯最大后验估计量。

FM是一个基于特征的分解模型，可以很容易地结合任何启发式特征。它可以在推荐系统的巨大稀疏性下进行参数估计。

MLP提出了一种神经网络架构，用于对用户和项目的潜在特征进行建模，基于神经网络进行协同过滤，并学习向用户推荐课程的概率。

NAIS是一个基于物品的协同过滤的神经网络模型。NAIS的关键是注意力网络，用以区分用户档案中的哪些历史课程对预测更重要。为了解决用户历史长度的巨大差异，NAIS通过平滑用户历史来调整注意力设计。

CKE是一种基于知识图谱的协同过滤推荐方法。CKE利用异构网络嵌入和深度学习嵌入方法自动提取知识库中的语义表示，并将协同过滤和知识库嵌入组件结合到一个统一的框架中，共同学习不同的表示。

DKN是一种基于内容的点击率预估方法。DKN将知识图谱表示结合到推荐系统中，利用知识感知卷积神经网络融合语义级和知识级特征表示，并设计了一个注意力模块来动态聚合用户关于当前候选项目的历史。

HRL是一种分层强化学习算法。HRL将用户画像的微调形式化为分层顺序决策过程，并以此调整推荐课程。HRL由数据集和预训练的基本推荐模型组成环境反馈，在此监督下执行高级任务和低级任务以去除噪声的课程。本实施例的对比试验结果如表1所示：

表1

可以看到，本实施例提出的方法优于推荐评估指标中的所有比较基线。BPR-MF和FM的传统方法在所有推荐方法中表现最差，基于深度学习的MLP、NAIS和HRL推荐方法比传统的BPR-MF和FM推荐方法表现更好。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。