基于Spark内存算法的图书馆大数据文献服务方案研究

摘要

互联网时代背景下,如何提供高效并精确的文献检索服务是目前图书馆文献检索领域的难题.针对这一问题,首先分析了现阶段图书馆信息检索领域的研究方向和应用需求,然后提出基于Spark内存计算框架的文献检索服务方案,通过添加惩罚系数对Spark推荐算法进行了优化,最后以某高校图书馆近5年的检索数据进行反演.研究发现:首先,基于Spark内存计算的文献检索系统从文献服务平台、文献数据分析和文献数据聚合3个层次进行了重新定义,有效解决了传统检索方式中大数据反复在硬盘和内存中的交换导致效率低下问题;其次,加入惩罚系数后可以有效剔除检索过程中无效列表,在文献推荐方面准确度进一步提高;最后,对比试验发现,当文献数量在50 000份以内时,Spark内存计算方式运算速度较传统方式能够提升1倍,检索准确性两者相当;当文献数量280 000份时,内存计算方法在准确率上提升约14.3％,召回率上提升10.5％,同时速度较之前缩短约30％.希望本文的研究成果为图书馆文献检索服务提供一定参考和借鉴.