重复数据

摘要： 针对目前重复数据批量剔除方法中提升压缩比和降低数据开销之间的矛盾,提出一种物联网感知信息采集过程重复数据批量剔除方法.首先将物联网感知信息采集数据文件组织作为数据位图的排列形式,结合滑动分块算法对系列形式进行更新,以列的形式读取数据信息,组成新的数据块.然后计算不同数据之间的相似度,通过量子粒子群优化算法优化BP神经网络,组建重复数据批量剔除模型,通过模型完成重复数据剔除.最后进行性能测试,实验结果表明,所提方法能够有效提升平均压缩比,降低平均时间开销和重复数据批量剔除错误率.

摘要： 财政惠农补贴资金涉及项目多、人数多、金额大,有时一个补贴项目就涉及上万个补贴对象,也存在舞弊风险。文章从财政惠农补贴资金发放实务操作入手,介绍了如何快速准确找出惠农补贴申报表中的异常数据、如何快速准确发放各项惠农补贴资金以及如何杜绝补贴资金发放过程中的舞弊行为,以期为财政惠农补贴资金发放实务操作提供参考。

摘要： 传统方法在删除重复数据时逻辑顺序较为混乱,导致重复数据消除效果欠佳。为解决上述问题,基于文件路径,对信息集群中重复数据消除方法展开研究。根据重复数据消除方法分块理念与文件系统中的目录名称,探析文件路径的重复数据消除原理。通过分块筛选存储数据完成数据对比,从而去除数据备份并用指向唯一的实例指针代替。在界定元数据信息的基础上,对文件部分和数据块模块中的重复数据进行消除,并采用文件路径信息集群的多个存储节点来加快消除速度。同时,利用元数据信息赋予数据可恢复性能,确保数据的可靠性。仿真结果表明:上述方法不仅有效提升了对重复数据的消除效果,且消除过程时耗较短,具有高效性和可靠性。

摘要： 海盐县首创“浙企有数”应用,拆解整合相关数据,在进一步推动简政放权的同时,提高行政效率,推动数字化、网络化和智能化管理发展,为企业减负企业数据是一种重要战略资产,其深度应用有利于企业开展经营活动、推动国民经济发展。但在实际操作中,企业数据的归集与应用存在诸多问题,如政府层面存在多头统计难解决、数据质量难保证、数据信息难共享、数据安全难保障等难题,企业层面存在报表系统多、重复数据多、指标口径多、临时调查多、运行环境多等问题。

摘要： 从合并计算出发,分析了重复数据对最终结果的影响,充分考虑性能、效率、精度之间的折中,提出了基于“重复率”和“容斥原理”两种修正算法,在可接受的精度范围内为用户提供计算的实时响应,提升计算效率,改善用户体验。

摘要： 2021年我国工程机械营业收入突破9000亿元。经中国工程机械工业协会对全行业企业统计调查情况汇总,在扣除不可比因素、重复数据和非工程机械产业部分之后,2021年全行业实现营业收入9065亿元,同比增长17%。2022年1-6月,我国挖掘机累计销量143094台,同比减少36.1%。其中,国内销量91124台,同比减少53.0%;出口51970台。

摘要： 层次化通信网络数据库拥有海量多维数据,但进行层次化通信网络数据库容灾备份的过程中没有删除重复数据,导致数据冗长占据空间,使RPO值与RTO值过高针对该问题提出基于链式描述符的层次化通信网络数据库容灾备份方法。通过写入链式描述符,优化传输过程;删除重复数据,精简备份对象;根据压缩算法,为通信网络数据库设计容灾备份方案。实验结果:所研究的备份方法进行数据备份恢复的模拟实验中,测试值比RPO目标值及RTO目标值分别快出10.3min及10h,获得较佳的数据库容灾备份效果。由于现代社会的网络技术和通信技术正在迅猛发展中,信息化程度越来越高,对数据的依赖程度逐渐增加.

摘要： 目前重复数据分级索引方法没有对数据进行预处理,存在分级效率低、准确率低和相似数据提取率低的问题.提出信息相似性下网络对抗文本重复数据分级索引方法.方法首先构建出向量空间模型,将所有文本转换成互联网可识别的特定模式,并算出数据特征项及其权重以此将数据进行一个简单分类,并利用编辑距离法详细计算出特征项之间的相似度,最终利用朴素贝叶斯分类器经过重重训练,实现重复数据分级索引.实验结果表明,信息相似性下网络对抗文本重复数据分级索引方法的分级效率较高,准确率较高,相似数据提取率高.

摘要： 国家医保局、财政部、国家税务总局日前发布《关于加强和改进基本医疗保险参保工作的指导意见》(以下简称《意见》)。《意见》提出深入实施全民参保计划,自2021年参保年度起,全国参保信息将实现互联互通、动态更新,可实时查询。《意见》要求各级医疗保障部门要完善与本地区公安、民政、人力资源和社会保障、卫生健康、市场监管、税务、教育、司法、扶贫、残联等部门的数据共享交换机制,加强人员信息比对和共享,核实断保、停保人员情况,精准锁定未参保人群,形成本地区全民参保计划库。《意见》明确要有针对性地加强重点人群特别是困难人群参保缴费服务,改进参保薄弱环节服务;依托全国医疗保障信息平台基础信息管理子系统参保功能模块,清理无效、虚假、重复数据,实时识别参保人参保缴费状态,提升参保质量。

摘要： 随着数据分析研究的兴起,数据预处理越来越得到研究者的重视,其中缺失数据填补问题的重要性也逐渐显现.在ROUSTIDA数据补齐算法的基础上,针对具有关键属性的重复数据的特点,文中提出了一种改进的ROUSTI-DA算法——Key&Rpt_RS算法.Key&Rpt_RS算法继承了ROUSTIDA算法的优势,同时考虑了目标数据的重复性特点,分析了关键属性对填补效果的影响,得到了更加准确且有效的填补结果.

摘要： 随着数字信息的爆炸式增长,所存在的重复数据越来越多,造成了存储系统资源的极大浪费.重复数据删除技术的出现在很大程度上缓解了该问题,该技术也得到了越来越广泛的认可.综合地介绍重复数据删除技术的概念和作用,探讨重复数据删除技术的分类，并介绍了其应用情况，包括数据备份系统，归档存储系统，远程灾备系统等方面。

摘要： 网络数据重复数据删除是一种通过去除网络数据包中重复数据片段,提高网络传输效率的方法,重复数据删除中块选择算法是选出重复数据块的核心,本文在分析各种块选择算法的基础上,提出了一种基于动态查找表的重复数据删除的算法-DYNATABLE,该算法实时统计以不同字节值开头的数据块的重复率,并以重复率高的字节值作为标识更新查找表,数据块选择算法根据查找表中的标识选择数据块,由仿真实验得出,DYNATABLE比其他块选择算法带来更高的字节节省。

摘要： 在大数据时代,现代企业需要存储的数据越来越多,然而研究表明,各种应用系统中存储的电子数据存在平均约60％的重复数据,并且随着时间的推移不断增长.重复数据删除技术应运而生,并且已经在业界得到了较好的应用.然而在实现数据块级别的重复数据删除过程中,索引的查找匹配是影响整体存储系统性能的瓶颈问题.基于此,提出了一种并行的重复数据删除系统模型,采用流水线的方式来部署整个重复数据删除系统,根据指纹前缀区分不同的数据块,将数据块部署到相应的存储节点,提高了系统的可扩展性,实验表明系统的吞吐率得到了提高.

摘要： 本发明提供一种Oracle数据库中备份数据块的重复数据删除方法及系统，包括将初始备份数据块拆分为块头和数据体；生成拼接块头缓存信息，存储拼接块头的数据和缓存信息；生成数据体缓存信息，并存储数据体的指纹和缓存信息；当Oracle数据库的数据文件和日志文件发生变化时，生成再次备份数据块；将再次备份数据块拆分为块头和数据体；生成并存储拼接块头缓存信息；将每个数据体的指纹与已存储的指纹进行比对；若比对成功，则获取并存储所对应的数据体缓存信息；否则生成数据体缓存信息，并存储数据体数据块的指纹和缓存信息。本发明的Oracle数据库中备份数据块的重复数据删除方法及系统可将重复数据块只保留一个副本，从而缩减了磁盘上存储的数据。

摘要： 本发明提供了一种支持重复数据删除文件系统中数据更新时的数据保护方法，用于实现对存量数据的数据块和索引的一致性保障，属于信息安全领域。本发明方法所应用的重复数据删除文件系统中，将文件的数据流划分为数据块存储，设置的数据存储结构主要包括文件块索引集、数据块集和数据块索引集三部分；结合三部分的数据存储结构实现三种操作：生成校验数据的操作；更新数据的操作；删除数据的操作。本发明方法有效地解决了重复数据消除系统中数据更新过程中数据索引一致性保障的问题，确保数据更新失败后存量数据的正确性，增强系统的数据安全性，保证系统的稳定性，有效降低系统的维护成本。

摘要： 一种用于管理备份的方法，其包含：经由第一备份流接收与第一加标签的备份条带相关联的第一数据，其中所述第一加标签的备份条带与第一路由标签相关联；基于所述第一路由标签来将所述第一数据定向到第一备份实例；经由第二备份流接收与第二加标签的备份条带相关联的第二数据，其中所述第二加标签的备份条带与所述第一路由标签相关联；基于所述第一路由标签来将所述第二数据定向到所述第一备份实例；和在所述第一备份实例中对所述第一数据和所述第二数据进行重复数据删除操作。

摘要： 提供一种检索数据方法、存储数据方法和重复数据删除模块。所述方法包括：识别数据的逻辑地址；根据逻辑地址，通过查找转换表中的逻辑地址的至少一部分，识别数据的物理行ID；对各个物理行进行定位，所述各个物理行对应于物理行ID；从所述各个物理行检索数据，检索的步骤包括将各个哈希缸复制到读取缓存，所述各个哈希缸包括：各个哈希桶，所述各个哈希桶包括所述各个物理行；各个参考计数器桶，所述各个参考计数器桶包括与所述各个物理行相关联的各个参考计数器。

摘要： 本发明提供一种Oracle数据库中备份数据块的重复数据删除方法及系统，包括将初始备份数据块拆分为块头和数据体；生成拼接块头缓存信息，存储拼接块头的数据和缓存信息；生成数据体缓存信息，并存储数据体的指纹和缓存信息；当Oracle数据库的数据文件和日志文件发生变化时，生成再次备份数据块；将再次备份数据块拆分为块头和数据体；生成并存储拼接块头缓存信息；将每个数据体的指纹与已存储的指纹进行比对；若比对成功，则获取并存储所对应的数据体缓存信息；否则生成数据体缓存信息，并存储数据体数据块的指纹和缓存信息。本发明的Oracle数据库中备份数据块的重复数据删除方法及系统可将重复数据块只保留一个副本，从而缩减了磁盘上存储的数据。

摘要： 本发明提供了一种支持重复数据删除文件系统中数据更新时的数据保护方法，用于实现对存量数据的数据块和索引的一致性保障，属于信息安全领域。本发明方法所应用的重复数据删除文件系统中，将文件的数据流划分为数据块存储，设置的数据存储结构主要包括文件块索引集、数据块集和数据块索引集三部分；结合三部分的数据存储结构实现三种操作：生成校验数据的操作；更新数据的操作；删除数据的操作。本发明方法有效地解决了重复数据消除系统中数据更新过程中数据索引一致性保障的问题，确保数据更新失败后存量数据的正确性，增强系统的数据安全性，保证系统的稳定性，有效降低系统的维护成本。

摘要： 本发明提出了一种空间大数据分区重复数据的剪枝方法，该剪枝方法可以内置在分布式空间大数据查询系统中并无需对候选结果执行细化操作。包括以下步骤：首先读取空间大数据的分区信息pi，得到每个分区数据覆盖的空间最小边界矩形ri，将ri与空间查询矩形窗口q做交运算，得到每个分区的查询范围si；其次，对si和sj(i≠j)做交运算，得到分区查询范围si和sj之间的重叠矩形区域si∩sj＝sij，引入参照点reference_point，通过reference_point决定区域sij的归属分区，返回pi和pj去重后的查询范围tri和trj，形式为＜pi,tri＞；然后，对同一分区p下的tr执行交运算，得到p的最终查询范围；最后，将每个分区的最终查询范围作为新的约束条件对分区数据进行剪枝，得到的查询结果即为最终结果。

摘要： 公开了跨多个数据源对共同设备进行重复数据删除的示例性方法、装置、系统和制品(如物理存储介质)。示例性系统包括：比较控制器，用于将第一数据源中的第一设备和第二数据源中的第二设备识别为可能的共同设备。示例性系统还包括：第一度量计算器，用于基于第一电台持续时间数据和第二电台持续时间数据计算电台持续时间度量，第一电台持续时间数据与将第一设备调谐到第一组电台的第一组持续时间相关联，第二电台持续时间数据与将第二设备调谐到第一组电台的第二组持续时间相关联；第二度量计算器，用于基于第一时间数据和第二时间数据计算时间匹配度量，第一时间数据与一天中将第一设备调谐到第二组电台的第一组时间相关联，第二时间数据与一天中将第二设备调谐到第二组电台的第二组时间相关联，一天中的第一组时间与一天中的第二组时间重叠；和第三度量计算器，用于基于第一设备调谐到的第一电台序列和第二设备调谐到的第二电台序列来计算电台路径度量。示例性系统还包括：比较记分器，用于基于电台持续时间度量、时间匹配度量和电台路径度量确定联合分数；和共同设备选择器，用于基于联合分数确定第一设备和第二设备何时为共同设备。

摘要： 本发明涉及一种基于重复数据删除的数据备份上云和恢复系统及方法，系统包括设置于本地的备份代理模块和备份服务模块，备份服务模块与云端通讯连接，其中，该备份代理模块被配置为：读取需要备份的业务应用数据，对业务应用数据进行分片和指纹计算，获取数据分片及其指纹信息；获取需要恢复的数据对象信息；该备份服务模块中维护有本地指纹数据库、本地对象指纹库和本地索引数据库，其被配置为：基于接收到的指纹信息和本地指纹数据库判断是否为重复数据；基于需要恢复的数据对象信息查询本地索引数据库和本地对象指纹库，从云端下载指定的数据分片并合并。与现有技术相比，本发明具有保障数据可靠性、减少对网络带宽和云存储空间的占用等优点。

摘要： 一种数据存储装置，包括存储器和控制器，其中，所述控制器接收待匿名数据的指示。所述控制器还解析待存储的数据元素，并生成一个或多个待匿名的数据部分的副本。所述控制器还删除一个或多个待匿名的数据部分，以生成待存储的修改数据元素。所述控制器还生成待利用重复数据删除存储的修改数据元素的副本。因此，所述数据存储装置考虑了重复数据删除期间的数据匿名(即，匿名感知重复数据删除)，这样即使在存在匿名数据的情况下，也能实现高效的重复数据删除。