一种基于大数据技术的高校图书馆个性化服务系统

摘要

本发明公开了一种基于大数据技术的高校图书馆个性化服务系统，具体涉及数据处理技术领域，包括内容检索模块、离线推荐模块、实时推荐模块、数据存储模块和呈现模块，所述离线推荐模块包括离线统计服务单元和工作调度服务单元，所述实时推荐模块包括日志采集服务单元和消息缓冲服务单元。本发明实现对其阅读习惯的精确定位，并借助大数据分析工具准确预测其未来阅读诉求，助力图书馆在可靠数据的支撑下为用户提供个性化服务。

说明书

技术领域

本发明具体涉及数据处理技术领域，来说，涉及一种基于大数据技术的高校图书馆个性化服务系统。

背景技术

随着我国经济实力的飞速提升，图书馆事业也得到长足发展，馆内流通人数和书刊文献外借册次逐年递增，但目前，我国绝大部分的高校图书馆都采用传统的借还书模式和管理模式，即读者需到图书馆馆藏处按照索书号找到自己想要的书籍，而还书时则将图书直接交给图书馆管理员处理，同时绝大多数高校图书馆是不对校外大众开放的，读者往往需要刷校园卡才可入内，而随着移动信息的发展，信息数据量不断增长，大数据概念受到了各界的普遍关注。作为一场新的技术革命，如何充分运用大数据，如何在大数据环境下快速有效地提取有价值的信息是当前比较热门的话题，而解决这个问题的最好工具便是推荐系统。在现代信息技术的推动下，高校图书馆开展个性化服务已是大势所趋，现有的图书检索、借还等传统图书管理系统已经不能满足现在资源规模的爆炸式增长和图书馆用户个性化需求的迅速提升来带的需求变化。传统模式下存在以下三大问题：

1、借阅者在借阅书籍时，需要到馆凭借藏书号寻找书籍所在位置。由于对图书分布信息不熟悉、图书馆书籍整理具有延时性等原因，读者在寻找书籍时难度较大、耗时较长、效率较低。

2、管理人员整理书籍任务重，借阅者在还书过程中采取多类型书籍统一归还的方式，管理人员需要对归还书籍进行分类整理，并放回原处，工作流程复杂且工作量较大。

3、高校的图书资源利用不充分，校外学者没有大学校园卡，无法进入到图书馆里进行阅读，也就无法获得高校的图书、文献资源，造成图书资源闲置浪费。

检索专利公开号CN108877066A公开了一种基于取书柜借阅图书的方法、取书柜及系统，提供了一种用户通过预约借阅到指定的取书柜里取书的方法，该发明功能单一，且尚未解决配送问题、反而增加了工作人员的工作压力。

检索专利公开号CN109035627A公开了一种面向园区的自动驾驶图书配送系统，提供了一种通过无人车自动驾驶完成对书籍的配送和存储，但该发明只有对书籍进行简单的配送，而且在配送车工作中，需要人工辅助拿取和放置书籍，具有局限性，馆内调度功能性低，不能有效地完成在馆内图书整理、分类、存放的工作，增加图书馆运营成本。

因此，亟需一种基于大数据技术的高校图书馆个性化服务系统。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于大数据技术的高校图书馆个性化服务系统，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于大数据技术的高校图书馆个性化服务系统，包括内容检索模块、离线推荐模块、实时推荐模块、数据存储模块和呈现模块，所述离线推荐模块包括离线统计服务单元和工作调度服务单元，所述实时推荐模块包括日志采集服务单元和消息缓冲服务单元，其中；

所述内容检索模块，用于获取图书的评分、标签和用户行为并作为检索特征信息；

所述离线推荐模块，用于前端用户接口获取用户日志信息并进行检索进行离线推荐；

所述实时推荐模块，用于实时获取用户日志信息并进行检索进行实时推荐；

所述数据存储模块，用于构建数据存储仓储；

所述呈现模块，用于进行呈现展示；

所述离线统计服务单元，用于进行对前端用户日志信息指标类数据的统计任务；

所述工作调度服务单元，用于时间频率对数据进行调度；

所述日志采集服务单元，用于对用户对于图书的一次评分行为进行采集；

所述消息缓冲服务单元，用于接收数据采集请求，并将数据推送到实时推荐模块。

进一步的，所述数据存储模块包括搜索服务器和缓存数据库。

进一步的，所述离线推荐模块和所述实时推荐模块分别包括，统计推荐和相似度推荐，其统计推荐和所述相似度推荐包括获取图书的评分信息、标签信息和用户行为信息。

进一步的，所述离线推荐模块，包括以下步骤：

预先通过前端用户接口，用户发送请求到数据存储模块；

数据存储模块调用相关的服务进行响应；

通过前端和后端埋点收集到日志信息，收集到用户行为；

通过日志采集，将采集到的日志进行存储，对存储到的日志进行日志清洗；

清洗完成后再进行数据加载，存储到数据存储模块中；

将数据存储模块中的数据读取出来后，通过大数据计算框架进行离线数据计算和处理；

将计算得到的数据存放在数据存储模块中，通过呈现模块进行数据可视化展示。

进一步的，所述实时推荐模块，包括以下步骤：

通过前端用户接口，用户发送请求到数据存储模块；

数据存储模块调用相关的服务进行响应；

通过前端和后端埋点收集到日志信息，收集到用户行为；

通过日志采集，将采集到的日志传入到数据总线；

进行数据计算，将计算得到的数据存放在数据存储模块；

通过呈现模块进行数据可视化展示。

本发明的有益效果：

本发明基于大数据技术的高校图书馆个性化服务系统，集成内容检索模块、离线推荐模块和实时推荐模块以及数据存储模块和呈现模块，通过个性化服务体系的构建，实现资源和服务的完美融合实现以读者阅读诉求为主导、以科技为载体为读者提供更便捷和高效的信息服务，需要借助大数据技与方法，对用户个性化诉求进行深度解读，并在此基础上划分和细分读者群，以此确定个性化服务的详细内容和服务模式，期间，高校图书馆可通过该系统深入分析和挖掘用户数据信息，实现对其阅读习惯的精确定位，并借助大数据分析工具准确预测其未来阅读诉求，助力图书馆在可靠数据的支撑下为用户提供个性化服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于大数据技术的高校图书馆个性化服务系统的原理框图；

图2是根据本发明实施例的一种基于大数据技术的高校图书馆个性化服务系统的场景示意图一；

图3是根据本发明实施例的一种基于大数据技术的高校图书馆个性化服务系统的场景示意图二；

图4是根据本发明实施例的一种基于大数据技术的高校图书馆个性化服务系统的流程示意图一；

图5是根据本发明实施例的一种基于大数据技术的高校图书馆个性化服务系统的流程示意图二。

图中：

1、内容检索模块；2、离线推荐模块；3、实时推荐模块；4、数据存储模块；5、呈现模块；21、离线统计服务单元；22、工作调度服务单元；31、日志采集服务单元；32、消息缓冲服务单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于大数据技术的高校图书馆个性化服务系统。

如图1-图5所示，根据本发明实施例的基于大数据技术的高校图书馆个性化服务系统，包括内容检索模块1、离线推荐模块2、实时推荐模块3、数据存储模块4和呈现模块5，所述离线推荐模块2包括离线统计服务单元21和工作调度服务单元22，所述实时推荐模块3包括日志采集服务单元31和消息缓冲服务单元32，其中；

所述内容检索模块1，用于获取图书的评分、标签和用户行为并作为检索特征信息；

所述离线推荐模块2，用于前端用户接口获取用户日志信息并进行检索进行离线推荐；

所述实时推荐模块3，用于实时获取用户日志信息并进行检索进行实时推荐；

所述数据存储模块4，用于构建数据存储仓储；

所述呈现模块5，用于进行呈现展示；

所述离线统计服务单元21，用于进行对前端用户日志信息指标类数据的统计任务；

所述工作调度服务单元22，用于时间频率对数据进行调度；

所述日志采集服务单元31，用于对用户对于图书的一次评分行为进行采集；

所述消息缓冲服务单元32，用于接收数据采集请求，并将数据推送到实时推荐模块3。

其中，所述数据存储模块4包括搜索服务器和缓存数据库。

其中，所述离线推荐模块2和所述实时推荐模块3分别包括，统计推荐和相似度推荐，其统计推荐和所述相似度推荐包括获取图书的评分信息、标签信息和用户行为信息。

其中，所述离线推荐模块2，包括以下步骤：

预先通过前端用户接口，用户发送请求到数据存储模块4；

数据存储模块4调用相关的服务进行响应；

通过前端和后端埋点收集到日志信息，收集到用户行为；

通过日志采集，将采集到的日志进行存储，对存储到的日志进行日志清洗；

清洗完成后再进行数据加载，存储到数据存储模块4中；

将数据存储模块4中的数据读取出来后，通过大数据计算框架进行离线数据计算和处理；

将计算得到的数据存放在数据存储模块4中，通过呈现模块5进行数据可视化展示。

其中，所述实时推荐模块3，包括以下步骤：

通过前端用户接口，用户发送请求到数据存储模块4；

数据存储模块4调用相关的服务进行响应；

通过前端和后端埋点收集到日志信息，收集到用户行为；

通过日志采集，将采集到的日志传入到数据总线；

进行数据计算，将计算得到的数据存放在数据存储模块4；

通过呈现模块5进行数据可视化展示。

借助于上述技术方案，通过集成内容检索模块、离线推荐模块和实时推荐模块以及数据存储模块和呈现模块，通过个性化服务体系的构建，实现资源和服务的完美融合实现以读者阅读诉求为主导、以科技为载体为读者提供更便捷和高效的信息服务，需要借助大数据技与方法，对用户个性化诉求进行深度解读，并在此基础上划分和细分读者群，以此确定个性化服务的详细内容和服务模式，期间，高校图书馆可通过该系统深入分析和挖掘用户数据信息，实现对其阅读习惯的精确定位，并借助大数据分析工具准确预测其未来阅读诉求，助力图书馆在可靠数据的支撑下为用户提供个性化服务。

另外，具体的，如图2所示，还包括综合业务服务部分：主要实现JavaEE层面整体的业务逻辑，通过Spring进行构建。对接业务需求。部署在Tomcat上。呈现模块5，主要负责实现和用户的交互以及业务数据的展示，部署在Apache服务上。数据存储模块4，其数据存储部分包括业务数据库：项目采用广泛应用的文档数据库MongDB作为主数据库，主要负图书推荐系统平台业务逻辑数据的存储。搜索服务器：推荐系统使用ElasticSearch作为模糊检索服务器，通过利用ES强大的匹配查询能力实现基于内容的推荐服务。缓存数据库：项目采用Redis作为缓存数据库，主要用来支撑实时推荐系统部分对于数据的高速获取需求。

而离线推荐模块2，包括离线统计服务：批处理统计性业务采用Spark Core+SparkSQL进行实现，实现对指标类数据的统计任务。离线推荐服务：离线推荐业务采用SparkCore+Spark MLlib进行实现，采用ALS算法进行实现。ALS算法是2008年以来，用的比较多的协同过滤算法。它已经集成到Spark的Mllib库中。从协同过滤的分类来说，ALS算法属于User-Item CF，也叫做混合CF。它同时考虑了User和Item两个方面。工作调度服务：对于离线推荐部分需要以一定的时间频率对算法进行调度，采用Azkaban进行任务的调度。

此外，实时推荐模块3包括日志采集服务：通过利用Flume-ng对业务平台中用户对于图书的一次评分行为进行采集，实时发送到Kafka集群。消息缓冲服务：项目采用Kafka作为流式数据的缓存组件，接受来自Flume的数据采集请求。并将数据推送到项目的实时推荐系统部分。实时推荐服务：系统采用Spark Streaming作为实时推荐系统，通过接收Kafka中缓存的数据，通过设计的推荐算法实现对实时推荐的数据处理，并将结构合并更新到MongoDB数据库。

另外，如图3所示，其分为内容检索、离线推荐服务和实时推荐服务，是前后端分离的数据实时显示的个性化推荐系统。通过图书的评分、标签和用户行为进行统计，同时使用推荐方式为：基于模型的推荐、协同过滤的推荐和基于内容的推荐三种推荐方式，对用户进行个性化推荐服务。

另外，如图4所示，其离线推荐模块2，在应用时，其通过前端用户接口，用户发送请求到后台服务器，服务器调用相关的服务进行响应。通过前端和后端“埋点”收集到日志信息，从而收集到用户行为。通过日志采集，将采集到的日志进行存储，对存储到的日志进行日志清洗。“清洗”完成后再进行数据加载，存储到数据仓库中。将数据仓库中的数据读取出来后，再通过大数据计算框架进行离线数据计算和处理，将计算得到的数据存放在数据库中，通过前端进行数据可视化展示

另外，如图5所示，在应用时，通过前端用户接口，用户发送请求到后台服务器，服务器调用相关的服务进行响应。通过前端和后端“埋点”收集到日志信息，从而收集到用户行为。通过日志采集，将采集到的日志传入到数据总线。再通过实时计算模块进行数据计算，将计算得到的数据存放在数据库中，通过前端进行数据可视化展示。

综上所述，借助于本发明的上述技术方案，通过集成内容检索模块、离线推荐模块和实时推荐模块以及数据存储模块和呈现模块，通过个性化服务体系的构建，实现资源和服务的完美融合实现以读者阅读诉求为主导、以科技为载体为读者提供更便捷和高效的信息服务，需要借助大数据技与方法，对用户个性化诉求进行深度解读，并在此基础上划分和细分读者群，以此确定个性化服务的详细内容和服务模式，期间，高校图书馆可通过该系统深入分析和挖掘用户数据信息，实现对其阅读习惯的精确定位，并借助大数据分析工具准确预测其未来阅读诉求，助力图书馆在可靠数据的支撑下为用户提供个性化服务。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。