压缩存储

摘要： 为解决统计系统在运行过程中增加CPU占用量,提出一种全新的统计系统。引入大数据技术,开展对抽水蓄能发电设备运行统计系统设计研究。

摘要： 针对大数据新型处理框架Spark执行Apriori算法存在速率低、内存负荷高等不足,提出一种改进的Apriori优化算法.基于字典表压缩存储的机制,结合Spark框架中列式存储模式对多维多属性值的数据集进行压缩,通过Spark集群进行数据并行处理.实验表明,该算法比原算法执行速率提高23％以上,且在数据量越大的情况下其优势更明显.该算法具有降低内存负荷量、去候选频繁项集、提高执行速率等优势,且解决了多维多属性值数据集的分析难题,具备一定的应用价值.

摘要： 知识图谱在人工智能的语义搜索、智能问答、数据分析等方面展现出巨大的价值.RDF(Resource description framework)是语义Web提供的一种存储和管理知识图谱的通用框架.随各领域知识的不断完善和扩大,知识图谱的高效检索愈加重要,研究者提出了很多建立在RDF数据模型基础上的索引及存储方案.针对目前知识图谱数据检索时产生的大量的自连接和高数据冗余等问题,提出了一种基于路径的索引树(P-tree)及建立在该索引结构上的三元组压缩和检索算法(CRK2-triples),来实现对知识图谱数据的快速检索.实验选择包含标准SPARQL查询的数据集,并将实验结果同三种有代表性的RDF数据存储索引方案进行比较.结果表明P-tree索引及CRK2-triples压缩检索算法在处理复杂查询和大规模数据集上有较大的优势.

摘要： 本文应用小波变换技术对电力用户每15分钟采集一次的用电负荷数据的特征进行了梳理,选择小波变换算法开展用电负荷数据的特征提取,优化数据存储方式实现数据压缩与脱敏存储,用以解决海量用电负荷指标数据的存储问题.结果表明,通过小波变换可以有效提取数据特征,压缩存储空间约50％,并实现数据脱敏.本文所研发的基于小波变换特征提取技术实现用电负荷数据压缩与脱敏存储的技术具有潜在的应用价值和推广价值,并能够产生较高的经济效益.

摘要： 针对超声成像系统逐点聚焦在工程实现中存储量大的缺点,提出一种动态聚焦最优分段方法.首先根据给定的聚焦延时约束误差进行几何分段,然后依据聚焦通道数和采样率计算各分段的位置序数和相应的聚焦延时参数,最后通过动态调整折线逼近单位实现对各个通道的聚焦延时误差的进一步优化.在此基础上,提出了与之相应的聚焦延时参数的压缩存储与实时生成方法.为了验证该方法的有效性,进行了聚焦误差分析和点目标成像实验.实验数据分析与测试结果表明:所提出的方法可以对全程探测范围内的动态聚焦进行最优分段,并将各通道的聚焦延时误差限定在约束误差范围内,且其成像效果与逐点聚焦成像效果基本一致,结构相似性指标达到0.9477.%According to the difficulty of dynamic focusing in ultrasound system,an optimal segmentation method for dynamic focus is proposed. Firstly,according to the given error constraints,the geometrical segmentation positions are calculated. Secondly,based on the focusing channels and the sampling frequency,the number of segmentation positions for focusing channels and the focus delays of each channel can be obtained. Then optimizing the focusing error of each channel is implemented by dynamically changing the quantization unit. Correspondingly,the hardware scheme of the focus delays compression and generation are put forward. In order to verify the validity,the focusing error analysis and point target imaging experiment are conducted. The numerical analysis and experimental results indicate the proposed approach can obtain the optimal segmentations and the focusing errors are limited to the given error constraints. The Structural Similarity of imaging results between the proposed approach and the ideal focusing method is 0.9477.

摘要： This paper presented a numerical analysis method for one-dimensional sparse storage structures to compress the large sparse matrix formed by the numerical discrete of the pressure Poisson equation with the numerical discrete projection algorithm,and only stored the non-zero elements.At the same time,it used the BiCGSTAB algorithm with optimized properties to solve the pressure Poisson equation to significantly improve the computational efficiency.Under the same initial conditions,it used the SOR(successive over relaxation) iteration method by Fortran90 to solve the linear equations obtained by numerical discretization of the pressure Poisson equation.The result shows that the BiCGSTAB algorithm based on compressed storage has obvious advantages in solving sparse linear equations.The algorithm is fast,efficient and reliable.%基于投影算法所得压力Poisson方程进行数值离散,对离散系统形成的稀疏线性方程组,由于线性方程组的系数矩阵存在大量的零元素,为降低内存存储,以一维稀疏存储结构对大规模的系数矩阵进行压缩处理,只存储非零元素;同时,以具有优化性质的BiCGSTAB算法求解压力Poisson方程,显著提高了计算效率.在相同初始条件下,利用Fortran90完成超松弛迭代法的程序求解压力Poisson方程数值离散所得到的线性方程组进行求解对比.结果表明基于压缩存储的BiCGSTAB算法在求解稀疏线性方程组具有明显的优势,该算法求解速度快、高效、可靠.

摘要： 本篇文章为了更好地研究了解大数据的存储、处理、挖掘工作,对世界市场的金融、经济、电力行业进行了深入研究.根据对大数据特点的分类:建立大数据压缩存储模型,这个模型以改进修正稀疏矩阵和指标数据分离方式及指标维度为基础,目的是为了能够更好地实现达成大数据的动态扩展和压缩存储.该文章可能在统一的资源库的建设中起到很大的作用,并且文章中有许多可以为大数据的深入研究探讨及存储、处理提供参考价值的内容.

摘要： 天然气是相对清洁和廉价的能源,但因储运问题制约了其更广泛的普及利用。天然气的吸附储存（ANG）是一种很受重视的储运技术。美国能源部2012年设定的一个研究目标是,在室温和6.5MPa下能将263cm3的材料中,但现有材料还远达不到此目标。

摘要： 随机稀疏矩阵的压缩存储是数据结构课程的主要内容之一.随机稀疏矩阵的压缩存储有两类实现:顺序存储方式和链式存储方式.在数据结构课程中讨论随机稀疏矩阵顺序存储结构相对较多,缺少对其链式存储结构的详细介绍和深入讨论.为了弥补这个不足,深入讨论了随机稀疏矩阵的三种链式存储结构、分析了它们之间的关系和特点.

摘要： 存储问题一直以来是人们对信息化高速发展而高度关注的.最近随着云存储自身具备的优势对传统存储引起的冲击也备受热议.对于云存储可以通过牺牲空间以及性能而实现数据压缩将会导致在解压时引起一定程度的损耗.为此,该文在高冗余数据压缩和存储算法中进行了优化处理,通过对传统遗传算法和数据压缩存储算法等进行优化从而解决高冗余数据存储和压缩等问题.

摘要： 本文针对海量关系数据库的压缩存储和查询的问题,提出了基于同类型的同质属性划分的策略,使得关系数据库类型相同和相似的列放在一起进行存储,这种从垂直属性划分派生出来的方法使得数据可以获得比较大的压缩比,同时解决了垂直属性划分对查询效率的影响.本文还提出了基于同质属性的划分的压缩存储下的关系代数的代价模型的修改,同时提出了在这种存储上对原有查询操作实现的修改策略.

摘要： 本文采用类似于位图的结构为关键词词汇表中的每个词建立频率向量来记录该词在每篇文档中出现的频率。显然，频率向量支持基于关键词信息量的查询。为了减小存储空间，我们对频率向量进行压缩存储。在构造其存储结构时为了减小存储频率值所需要的空间，先将连续的频率空间离散化，并表明这不会减小任何查询的结果集；在存储频率值出现的位置时，对位置的二进制码的长度进行了压缩。对压缩方法的理论分析表明在实际应用范围内，存储关键词索引时采用压缩频率向量的方法比用倒排文件的方法节省空间。

摘要： 板料冲压成形的有限元数值模拟过程中，有限元方程组的求解是有限元分析中的一个重要步骤。有限元方程组往往是线性的大型稀疏矩阵方程组，该方程组的解法及整体刚度矩阵的存储结构很大程度上决定了有限元分析的求解效率。提出采用迭代法取代自主开发系统Quick-Form 中的直接法，提高了计算效率。在“广义相邻节点”以及“节点的广义相邻关系”两个概念的基础上研究了整体刚度矩阵的生成原理以及其中非零子矩阵的分布规律。提出了一种适合迭代算法的改进一维变带宽压缩存储方法，最大程度上节约了内存，而且避免了节点编号的优化难题。最后，通过数值计算实例验证了该算法在求解大型有限元模型时不仅具有较高的计算效率，而且能够节省大量存储空间。

摘要： 大型供水管网的平差计算是进行水力模型校核、优化调度及现状分析的基础，供水系统的科学化管理对平差计算的实时性提出了更高要求。文章建立了更为实用的解节点方程法的数学模型，模型中的系数矩阵具有对称正定的性质，因而采用预处理共轭梯度法求解该大型线性方程组，并分析了稀疏矩阵的压缩存储算法，给出了解决方案。

摘要： 在许多的科学技术和工程计算中,矩阵是数值分析问题研究的数学对象.对于矩阵数据结构主要研究其在计算机中的存储,从而使矩阵得到更为有效地存储和使用. 一般情况下,用高级语言编制程序时,都是用二维数组来存储矩阵单元.有的程序设计语言中还提供了各种矩阵运算,为用户使用带来了方便.然而,在数值分析中经常出现阶数很高的矩阵,同时在矩阵中又有许多值相同的元素或者是零元素.这时为了节省存储空间,需要对这类矩阵进行压缩存储.矩阵的压缩存储的原则是:多个值相同的矩阵元素分配同一个存储空间;零元素不分配空间。

摘要： 预处理共轭梯度法为目前求解大型稀疏线性方程组极为有效的方法.本文在如何将其应用于有限元分析方面作了一些探讨性的工作.将SSOR-PCG方法与传统的迭代法进行了对比,进一步说明了其高效性.此外,笔者根据平面杆系刚度矩阵的特点,对其压缩存储方式进行了改进,与一般的压缩存储方式相比,可以节省内存20％~33％.

摘要： 本文围绕强激光与等离子体相互作用三维数值模拟程序LARED-P数据输出存在的问题,给出了基于HDF5格式的数据模型,通过将计算结果进行重新组织和管理,实现了数据的实时压缩存储和高性能并行I/O,获得了较好的空间存储效率和时间效率,同时,程序提供了灵活的数据搜索机制,能够在程序运行过程中提取数据子集,满足了可视化系统准实时读入数据的需求.

摘要： 根据国家卫星气象中心制定的气象卫星分发产品的格式规范,分析气象卫星分发产品的文件结构二进码格式,利用气象卫星图像产品资料的压缩存储技术,对气象卫星图像产品的在业务工作中的应用作了初步研究.

摘要： 在国家十五863重大应用示范项目——DVENET中,本文给出了一种高效多精度栅格地形表示.它是一种简单而操作效率高的数据组织形式,也是DVENET环境服务的一个核心地形数据表示.综合了空间关系模型和语义关系模型,能进行动态的实时更新.其组织方式采用了多精度、分图层的思想,以栅格表示为主体,加载了基于栅格的矢量表示和语义特征描述,满足了仿真中的动态实时性;也便于CGA进行复杂的智能推理和决策.

摘要： 在国家十五863重大应用示范项目——DVENET中,本文给出了一种高效多精度栅格地形表示.它是一种简单而操作效率高的数据组织形式,也是DVENET环境服务的一个核心地形数据表示.综合了空间关系模型和语义关系模型,能进行动态的实时更新.其组织方式采用了多精度、分图层的思想,以栅格表示为主体,加载了基于栅格的矢量表示和语义特征描述,满足了仿真中的动态实时性;也便于CGA进行复杂的智能推理和决策.

摘要： 本发明揭示在基于中央处理单元CPU的系统中使用经压缩存储器控制器CMC来提供存储器带宽压缩。在这点上，在一些方面，CMC经配置以接收对系统存储器中的物理地址的存储器读取请求，且从主目录和/或从所述物理地址的错误校正码ECC位读取用于所述物理地址的压缩指示符CI。基于所述CI，所述CMC确定将为所述存储器读取请求读取的存储器块的数目，且读取所述所确定数目的存储器块。在一些方面，CMC经配置以接收对所述系统存储器中的物理地址的存储器写入请求，且基于所述写入数据的压缩模式来产生用于写入数据的CI。CMC用所述所产生的CI来更新所述主目录和/或所述物理地址的所述ECC位。

摘要： 本发明所提供的一种电话号码压缩存储及解压缩方法及存储系统，移动终端中电话号码的压缩步骤包括：A.将存储在移动终端中的所有电话号码转变为补齐码后由小到大进行排序，排序后将所有补齐码编号；B.记录序号为1的电话号码，在对其余电话号码进行压缩时，比较其补齐码与序号前一位的补齐码，从高位开始逐个进行比较，直到比较到两个补齐码有不同字符为止，只保留该不同字符及之后的所有字符，得到各电话号码的压缩码；C.存储所述各电话号码的压缩码。采用本发明可使电话号码压缩存储，解决存储器容量较小的移动终端存储手机号码占用较多空间的问题，提高存储器的利用率。

摘要： 本发明公开了一种超声波束合成聚焦参数的压缩存储和解压缩方法及解压缩装置，采用行程编码压缩超声波束合成聚焦参数，并使用解压缩装置按一定方法还原超声波束合成聚焦参数。本发明使用压缩方法存储医学超声系统波束合成的聚焦参数，使用较少的存储资源存储了大量的聚焦参数，并且降低了系统设计的复杂性。

摘要： 本发明涉及数据压缩存储方法以及数据压缩存储装置。该数据压缩方法包括下述步骤：切分步骤，将原始数据切分成多个字段；以及压缩步骤，基于数据内容的不同，对于不同字段采用不同的压缩策略进行压缩并存储压缩后的压缩数据。根据本发明的数据压缩存储方法以及数据压缩存储装置，能够考虑到数据内容的不同而采用不同的压缩方法，能够有效提高数据压缩效率，相比通用的GZIP、SNAPPY等数据压缩工具，在数据压缩率上有明显的提升。

摘要： 所揭示的方面涉及当停顿的写入操作发生时减少或避免来自压缩存储器系统中的未压缩高速缓冲存储器的经逐出高速缓冲存储数据的缓冲。提供一种包含高速缓冲存储器及压缩存储器系统的基于处理器的系统。当高速缓冲存储条目从所述高速缓冲存储器逐出时，高速缓冲存储数据及与所述经逐出高速缓冲存储条目相关联的虚拟地址经提供至所述压缩存储器系统。所述压缩存储器系统读取与所述经逐出高速缓冲存储条目的所述虚拟地址相关联的元数据以确定所述压缩存储器系统中的映射至所述经逐出高速缓冲存储条目的物理地址。如果所述元数据不可获得，那么所述压缩存储器系统在所述压缩存储器系统中的新的可获得物理地址处存储所述经逐出高速缓冲存储数据而不等待所述元数据。因此，缓冲所述经逐出高速缓冲存储数据以避免或减少停顿写入操作是不必要的。

摘要： 本发明揭示在基于中央处理单元CPU的系统中通过经压缩存储器控制器CMC使用背靠背读取操作来提供存储器带宽压缩。在这点上，在一些方面中，CMC经配置以接收对系统存储器中的物理地址的存储器读取请求，并从与所述物理地址相关联的存储器线中的第一存储器块的错误校正码ECC位读取用于所述物理地址的压缩指示符CI。基于所述CI，所述CMC确定所述第一存储器块是否包括经压缩数据。如果不，那么所述CMC与返回所述第一存储器块并行地执行对所述存储器线的一或多个额外存储器块的背靠背读取。一些方面可通过将经压缩数据写入到所述存储器线的多个存储器块中的每一者而不是仅写入到所述第一存储器块来进一步改善存储器存取等待时间。

摘要： 本发明揭示在基于中央处理单元CPU的系统中使用经压缩存储器控制器CMC来提供存储器带宽压缩。在这点上，在一些方面，CMC经配置以接收对系统存储器中的物理地址的存储器读取请求，且从主目录和/或从所述物理地址的错误校正码ECC位读取用于所述物理地址的压缩指示符CI。基于所述CI，所述CMC确定将为所述存储器读取请求读取的存储器块的数目，且读取所述所确定数目的存储器块。在一些方面，CMC经配置以接收对所述系统存储器中的物理地址的存储器写入请求，且基于所述写入数据的压缩模式来产生用于写入数据的CI。CMC用所述所产生的CI来更新所述主目录和/或所述物理地址的所述ECC位。

摘要： 本发明所提供的一种电话号码压缩存储及解压缩方法及存储系统，移动终端中电话号码的压缩步骤包括：A.将存储在移动终端中的所有电话号码转变为补齐码后由小到大进行排序，排序后将所有补齐码编号；B.记录序号为1的电话号码，在对其余电话号码进行压缩时，比较其补齐码与序号前一位的补齐码，从高位开始逐个进行比较，直到比较到两个补齐码有不同字符为止，只保留该不同字符及之后的所有字符，得到各电话号码的压缩码；C.存储所述各电话号码的压缩码。采用本发明可使电话号码压缩存储，解决存储器容量较小的移动终端存储手机号码占用较多空间的问题，提高存储器的利用率。

摘要： 本发明公开了一种超声波束合成聚焦参数的压缩存储和解压缩方法及解压缩装置，采用行程编码压缩超声波束合成聚焦参数，并使用解压缩装置按一定方法还原超声波束合成聚焦参数。本发明使用压缩方法存储医学超声系统波束合成的聚焦参数，使用较少的存储资源存储了大量的聚焦参数，并且降低了系统设计的复杂性。

摘要： 本申请公开了一种文件存储方法及云端压缩存储系统、服务器、存储介质，其中：所述方法应用于云端压缩存储系统，具体包括：接收客户端发送的文件存储请求；其中，所述文件存储请求中至少包括待存储文件；将所述待存储文件存储至所述云端压缩存储系统的缓存区内；在处理所述待存储文件的压缩存储任务时，从所述缓存区获取所述待存储文件，并根据预设的压缩策略，对所述待存储文件进行压缩，得到压缩文件；调用所述云端压缩存储系统的内部上传接口，将所述压缩文件存储至所述云端压缩存储系统的数据存储模块中。从而无需进行多端适配，就可以实现远端数据压缩存储。