数据稀疏性

摘要： 评论文本中蕴含着丰富的用户和物品信息,将其应用于推荐算法有助于缓解数据稀疏问题,提高推荐准确度。然而,现有的基于评论的推荐模型对评论文本的挖掘不够充分和有效,并且大多忽视了用户兴趣随时间的迁移和蕴含物品属性的物品描述文档,使得推荐结果不够准确。基于此,文中提出了一种基于深度语义挖掘的推荐模型(Deep Semantic Mining based Recommendation,DSMR),通过深度挖掘评论文本和物品描述文档的语义信息,更精确地提取用户特征和物品属性特征,从而实现更准确地推荐。首先,所提模型利用BERT预训练模型来处理评论文本和物品描述文档,深度挖掘用户特征和物品属性,有效缓解了数据稀疏和物品冷启动问题;然后,利用前向LSTM来关注用户偏好随时间产生的变化,得到了更精确的推荐;最后,在模型训练阶段,将实验数据按1~5分1∶1∶1∶1∶1等量随机抽取,保证每个分值的数据量相等,使结果更加准确,模型鲁棒性更强。在4个常用的亚马逊公开数据集上进行实验,结果表明,以均方根误差为评价指标,DSMR推荐结果的误差比2个仅基于评分数据的经典推荐模型至少平均降低了11.95%,同时优于基于评论文本的3个最新推荐模型,且比其中最优的模型平均降低了5.1%。

摘要： 随着互联网的发展,全球数据量爆炸式增长,信息过载现象严重,如何获取用户真正关注的信息成为困扰人们的难题之一.在此背景下,推荐算法在各个领域得到了广泛应用.本文首先介绍了目前主流推荐算法的分类方法和主要评价指标.其次,分别介绍了当前各类推荐算法的研究进展,其中包括传统推荐算法的基础推荐原理和研究进展以及神经网络在推荐算法中的研究应用,对其进行归纳总结.同时分析了数据稀疏性、冷启动和可伸缩性等推荐算法常见问题.最后,提出了现有推荐算法的不足以及在应用中遇到的部分问题,介绍了未来推荐算法的研究热点.

摘要： 在以往的推荐系统模型中,大多是通过协同过滤算法实现的,所以会存在冷启动和数据稀疏性等问题,从而导致推荐质量不高。一般的解决办法就是通过加入一些附加的语义信息来提升推荐的精度。而知识图谱中就包含了大量的语义内容,可以在推荐系统中引入知识图谱作为附加信息。因此,本文提出了基于知识图谱的个性化推荐系统构建。在推荐模型中加入知识图谱,可以很好的增强推荐的准确性。

摘要： 在基于位置的社交网络(LBSN)中,用户可以在兴趣点(POI)进行签到以记录行程,也可以与其他用户分享自身的感受并形成社交好友关系。POI推荐是LBSN提供的一项重要服务,其可以帮助用户快速发现感兴趣的POI,也有利于POI提供商更全面地了解用户偏好,并有针对性地提高服务质量。POI推荐主要基于对用户历史签到数据以及用户生成内容、社交关系等信息的分析来实现。系统归纳POI推荐中所面临的时空序列特征提取、内容社交特征提取、多特征整合、数据稀疏性问题处理这4个方面的挑战,分析在POI推荐中使用深度学习方法解决上述问题时存在的优势以及不足。在此基础上,展望未来通过深度学习提高POI推荐效果的研究方向,即通过增量学习加速推荐模型更新、使用迁移学习缓解冷启动问题以及利用强化学习建模用户动态偏好,从而为实现效率更高、用户体验质量更好的推荐系统提供新的思路。

摘要： 协同过滤算法作为各种商业推荐技术最常使用的方法之一。然而,由于数据的稀疏性和用户的评分存在单一的相似性,低精度相似度度量降低了推荐系统的性能。针对上述问题,提出了一种协同过滤改进方法。方法基于项目的分类属性,以用户的兴趣度量用户的相似度,量化用户的兴趣所发生的动态迁移,构建新的相似度量模型。Movielens测试结果表明,提出的算法缓解了数据稀疏性,优化了最近邻的选取,与传统算法相比有着更高的推荐精度。

摘要： 针对协同过滤算法中数据稀疏性导致的推荐结果精确度不高的问题,本文提出一种改进的加权Slope-One算法填充评分矩阵.首先,利用用户的评论次数信息区分用户活跃度,然后,在加权Slope-one算法考虑不同项目之间评分用户数量差异影响的基础上,进一步考虑不同活跃度的用户话语权差异对评分预测的影响,提出了兼顾用户话语权的加权Slope-One算法,最后,基于Movie-Lens和Amazon-Clothes两个不同商品品类的数据集,对4种协同过滤算法进行了不同填充比例和不同最优近邻数情况下的仿真实验.仿真对比发现:在仿真实验确定的最优矩阵填充比例和最优近邻数的情况下,相比加权Slope-One协同过滤、原始协同过滤、基于奇异值分解的协同过滤等推荐算法,引入本文所提出的改进加权Slope-One的协同过滤推荐算法,在数据稀疏度不同的两个数据集上的MAE值都更低,说明本文算法能够有效降低数据稀疏性并达到了提高推荐精确度的目的.

摘要： 协同过滤算法作为最古老的算法有着相当广泛的应用,相似度的计算和最近邻居的选择是该算法的核心。在阐述协同过滤推荐算法的原理和常见相似度计算方法的基础上,提出改进的相似度计算方法,并通过实验验证了不同相似度计算方法在推荐效果方面的差异,分析了如何解决数据稀疏性和平衡项目本身质量权重的问题。实验结果表明,改进的相似度计算方法在准确率、召回率、RMSE、MAE四个评估指标上都有更好的表现,因此,该方法能够提高推荐质量。

摘要： 针对兴趣点(point of interest,POI)推荐中用户-POI交互矩阵数据稀疏问题,当前研究仅通过探索地理位置、内容信息及社会关系等上下文因素来缓解该问题,缺乏对这些上下文因素共同作用情况的综合分析及利用.为此,采用概率生成的方法提出一种内容和地点感知的主题模型(content-location-aware topic model,CLATM),用以模拟用户在决策过程中的签到行为.该模型由内容主题建模和地点主题建模两个核心模块构成,用户签到内容依赖内容主题和地点主题,内容主题和地点主题在一定程度上共同决定用户签到地点,地理位置依赖于地点主题并服从高斯分布.该模型不仅恰当地整合了内容、地点和地理位置等重要的上下文因素,且充分利用这些因素之间的潜在关系有效缓解了数据稀疏性.在Foursquare和Yelp两个真实的位置社交网络数据集上对CLATM进行性能评测,实验结果表明,该模型在召回率(recall)和归一化折损累计增益(normalized discounted cumulative gain,NDCG)指标上均优于基准,recall@20和NDCG@20最大分别提高约141.09%和94.44%.综合使用上下文因素的共同作用能有效提升POI推荐性能.

摘要： 药物重定位算法可以为发现药物的新用途提供理论上的支持.针对传统药物重定位推荐算法的不足,提出一种基于多相似度融合的药物重定位推荐算法(MSF).首先通过药物-疾病数据源计算出疾病相似度,再通过药物-化学结构、药物-靶蛋白以及药物-副作用数据源计算出三种相似度并融合为药物相似度,最后利用两种相似度计算药物与疾病对应关系的预测值,并通过预测值融合方法融合为最终预测值.实验结果表明,与SLAMS算法和DRCFFS算法相比,MSF算法在精确率和召回率上有较大的提高;与针对单个数据源的药物重定位算法相比,通过融合多种数据源,预测值的可靠性和精确性都有进一步的提升.案例分析显示,MSF算法可以有效地预测出有治疗效果的药物-疾病组合.

摘要： 协同过滤算法广泛应用于推荐系统中,论文针对传统协同过滤算法中数据稀疏性及推荐准确率不高的问题,提出了一种改进的协同过滤算法.首先通过SVD++算法对用户-项目评分矩阵进行填充,初步缓解数据的稀疏性问题,然后通过计算相似度引入项目属性,最后通过改进Slope One算法对评分矩阵进行二次预测计算,提高推荐算法的准确度.在数据集MovieLens100K数据集上对论文提出的混合推荐算法作五折交叉实验,结果表明混合算法提高了推荐系统的预测准确度.

摘要： 协同过滤推荐技术被广泛用于各个推荐系统,但它仍然存在着用户评分数据稀疏性问题,可能导致推荐结果不准确.针对该问题,提出一种基于Sigmoid函数的协同过滤推荐算法.首先,分析用户兴趣与其调用服务的次数之间的非线性关系;其次,定义一个Sigmoid函数,根据服务调用次数计算用户对服务的兴趣度;最后,基于用户兴趣度完成协同过滤算法,实现个性化的服务推荐.实验证明,该方法能有效缓解数据稀疏性问题,提高了推荐质量.

摘要： 协同过滤推荐算法是推荐系统中应用相对成熟的算法,但是伴随着用户与项目数据的急剧增加,数据稀疏性问题应运而生.本文首先介绍了推荐系统与现在主要应用的几种推荐技术的工作原理，主要分析了协同过滤推荐算法的实现步骤，分析协同过滤推荐算法现存的问题，通过聚类算法对高维矩阵进行降维，增加用户-项目矩阵密度；其次在通过再计算相似性时，试着减少数据稀疏问题在计算推荐资源的影响。实验结果也表明了优化算法比传统协同过滤推荐算法在推荐质量上有提高。

摘要： 协同过滤推荐作为目前应用最广泛和最成功的个性化推荐系统,介绍了协同过滤推荐的实现步骤、相似性度量、协同过滤的不足,总结了数据稀疏性问题的相关解决方法,并对这几种方法的优缺点做了分析和比较研究,最后介绍了协同过滤推荐系统未来研究可能发展的方向。

摘要： 为了解决数据稀疏性、针对具有专门知识背景和交互性强的项目推荐，本文提出基于双信息源模式的协同过滤算法(Dual Information SourceModel-Based Collaborative Filtering Algorithms，DISCF)，该方法判断活动用户对目标项目的兴趣程度建立在两个推荐组——相似用户推荐组(最近邻居集合)与专家推荐组基础上，把两个推荐组的建议结合起来，形成可靠的信息源，然后，分析各自影响活动用户对目标项目的权重，计算活动用户的最终兴趣度，实现系统推荐。

摘要： 在大数据时代,从大量数据中提取有用的信息,并将其推荐给用户是至关重要的,推荐系统随之产生并应用到互联网上,协同过滤算法是推荐系统中应用最为广泛和成熟的算法,但是仍然存在评分数据稀疏性和冷启动等问题,因此许多学者在现有的算法基础上提出许多改进的算法来解决这些问题,本文则系统地归纳总结这些对协同过滤改进的算法.

摘要： 本发明涉及极地探冰雷达数据的噪声抑制方法，具体涉及一种基于极地探冰雷达数据低秩性和稀疏性的噪声抑制方法。包括步骤为：对待处理探冰雷达数据进行低秩滤波处理；基于低秩滤波结果，采用字典学习方法进行稀疏化滤波处理，得到噪声抑制后的探冰雷达数据。本发明综合考虑了探冰雷达数据的低秩性和稀疏性特点，同时在时域/频域子空间和空域子空间进行滤波处理，对探冰雷达数据进行噪声抑制的同时，可有效保留冰下层位边缘信息。

摘要： 本发明公开了一种基于DSP的视频帧稀疏性检测系统及数据处理方法。本发明采用视频摄像头采集场景图像，再通过解码芯片实现图像解码，用DSP读取视频帧数据并存储，进而对视频帧进行二维稀疏变换，最后通过变换系数能量归一化、原址降序排序和能量筛选等处理方法定量计算视频帧的稀疏系数并显示。该系统采用DSP硬件实现视频场景稀疏特性的定量检测，能够为自适应压缩成像系统提供一个有效的、实时的稀疏度信息，有利于自适应地选择压缩采样率，保证视频帧有较高重构质量，并确保视频尽可能少的压缩观测值、降低存储空间需求。

摘要： 本公开涉及用于稀疏数据的基于瓦片的稀疏度感知数据流优化。系统、装置和方法提供了用于优化诸如3D点云数据集之类的稀疏数据的处理的技术。该技术可包括基于输入非结构化稀疏数据集(例如3D点云数据集)来生成地点感知规则书，地点感知规则书存储输入非结构化稀疏数据集中的活跃体素的空间邻域信息，基于地点感知规则书计算平均接受场(ARF)值，以及基于计算出的ARF值从多个瓦片大小和循环顺序组合中确定用于处理非结构化稀疏数据集的瓦片大小和循环顺序组合。该技术还可包括将地点感知规则书和瓦片大小和循环顺序组合提供给诸如神经网络之类的计算引擎，计算引擎利用地点感知规则书和瓦片大小和循环顺序组合来处理非结构化稀疏数据集。

摘要： 本发明公开了一种基于矩阵低秩性以及稀疏性的智能电网数据恢复方法，包括下述步骤：(1)利用m个智能电网传感器采集测量数据向量；(2)将采集到的第i个m×1维的测量数据向量

摘要： 本发明涉及极地探冰雷达数据的噪声抑制方法，具体涉及一种基于极地探冰雷达数据低秩性和稀疏性的噪声抑制方法。包括步骤为：对待处理探冰雷达数据进行低秩滤波处理；基于低秩滤波结果，采用字典学习方法进行稀疏化滤波处理，得到噪声抑制后的探冰雷达数据。本发明综合考虑了探冰雷达数据的低秩性和稀疏性特点，同时在时域/频域子空间和空域子空间进行滤波处理，对探冰雷达数据进行噪声抑制的同时，可有效保留冰下层位边缘信息。

摘要： 解释表格数据的方法(300)包括在深层表格数据学习网络(TabNet)(200)处接收特征集合(206)。对于多个顺序处理步骤(S,Si‑N)中的每一个，该方法还包括：使用TabNet的掩码(214)来选择该特征集合的相关特征(206,206R)的子集(216)；使用TabNet的特征变换器(224)处理相关特征的子集，以生成决策步骤输出(208)和用于多个顺序处理步骤中的下一个处理步骤(S,Si+1)的信息(226)；将该信息提供给下一处理步骤。该方法还包括通过聚合为多个顺序处理步骤生成的决策步骤输出来确定最终判定输出(208,208F)。

摘要： 本发明公开了一种顾及时空异质性的基于极稀疏采样的高维比湿数据重建方法，包括以下步骤：将原始多维比湿数据重组为局部相似的子张量块；将得到的每个子张量块视作一个整体，对每个子张量块进行样本筛选，选取代表性样本，构建掩膜张量；基于大气分布结构模式，从不同尺度上提取每个子张量块数据上的大气环境多维信号的特征分量；进一步对不同尺度上的特征分量集合进行显著性检验，筛选显著性分量并进行特征重构；将每个块数据的特征重构数据与原始的子张量块数据分别进行加权求和，完成原始多维比湿数据的重建。

摘要： 用于变换诸如表示神经网络层的矩阵之类的数据集的装置、系统和技术，用于增加所述数据集的稀疏度和/或其他特征，从而提高诸如神经网络计算之类的计算的性能。在至少一个实施例中，一个或更多个数据集中的一个或更多个数据子集被重新排列作为用于增加所述一个或更多个数据集中的稀疏度从而满足一个或更多个一个或更多个结构稀性疏约束的过程的一部分。

摘要： 本发明请求保护一种基于分步动态填充缓解推荐系统数据稀疏性的方法。方法首先对用户行为数据预处理，建立用户—美食商家评分矩阵；其次，选取目标用户计算用户相似度，选取相似度大于阈值α的用户作为目标用户的预选相似邻居用户；然后，计算用户共同评分差均值，选取共同评分差均值小于阈值β的预选邻居用户作为最终的相似邻居用户，利用邻居用户对评分矩阵做第一步填充；最后，对评分矩阵中剩下的未填充数据，同样采用相似度阈值法和共同评分差均值来选取相似商家，并利用相似商家对评分矩阵做第二步填充。本发明在一定程度上缓解了美食商家推荐系统中评分矩阵的稀疏性问题，提高了推荐系统的准确度。

摘要： 本发明公开了一种基于数据高位稀疏性的神经网络量化训练方法。本发明方法首先将数据分为高位数据和低位数据两段，低位数据训练时施加正则化，高位数据不参与训练；若低位数据训练时发生进位或者退位，更新高位数据；训练完毕后检查高位数据是否更新，若更新则继续训练，否则，判断低位数据是否大于阈值：若低位数据大于阈值，继续训练；否则，令低位数据等于0。将最终的高位数据和低位数据合并为新数据，并且锁死，在神经网络训练时不再更新；等待神经网络其他权重训练完毕，最后输出数据。本发明方法在线性量化或者其他简单量化的基础上，对其他量化得到的数据进行进一步量化，使得数据稀疏性更强，有利于硬件计算和存储，同时保证网络性能。