数据预取

摘要： 异构HPL(high-performance Linpack)效率的提高需要充分发挥加速部件和通用CPU计算能力,加速部件集成了更多的计算核心,负责主要的计算,通用CPU负责任务调度的同时也参与计算.在合理划分任务、平衡负载的前提下,优化CPU端计算性能对整体效率的提升尤为重要.针对具体平台体系结构特点对BLAS(basic linear algebra subprograms)函数进行优化往往可以更加充分地利用通用CPU计算能力,提高系统整体效率.BLIS(BLAS-like library instantiation software)算法库是开源的BLAS函数框架,具有易开发、易移植和模块化等优点.基于异构系统平台体系结构以及HPL算法特点,充分利用三级缓存、向量化指令和多线程并行等技术手段优化CPU端调用的各级BLAS函数,应用auto-tuning技术优化矩阵分块参数,从而形成了HygonBLIS算法库.与MKL相比,在异构环境下,HPL算法整体性能提高了11.8％.

摘要： 详细分析了已有针对链表结构(LDS)的预取方法,并分析了预取深度对预取性能的影响,同时分析了链表结构中单个生产者访存指令对应多个消费者访存指令的情况,并指出了现有链表结构预取器的不足.提出了针对链表结构的反馈预取机制,在原来预取器的基础上把预取命令查询处理器Cache的结果反馈给预取引擎,预取引擎根据反馈结果决定进一步预取操作.如果预取命令查询Cache发现已经命中,则反馈查询结果给预取器,预取器再针对同一个生产者指令产生预取命令.反馈预取机制可以和其他链式结构预取机制协同工作.实验结果表明,相比于无反馈的预取机制,针对链表结构的反馈预取机制当预取深度为1时,每周期执行指令数(IPC)平均提升8.14％,L1-D Cache缺失率平均降低11.18％,新增硬件开销几乎可以忽略.

摘要： Due to the existing data prefetching algorithms can’t meet the requirements of the novel heterogeneous memory system combining the dynamic random access memory (DRAM) with the non-volatile memory (NVM) in high energy-efficiency heterogeneous computing systems, a simulated annealing data prefetching algorithm (SADPA) was proposed. It was a heuristic search inspired simulated annealing algorithm, in which a random factor was introduced to confirm the global optimal threshold and the valid number of prefetching NVM pages. The results show that the average accessing latency of SADPA is 4% lower than that of the static threshold adjustment algorithm, and the average instruction per cycle (IPC) of the SADPA is 10.1% greater than that of the static threshold adjustment algorithm. Besides, the systemic power supported by SADPA, as for the cactusADM, is reduced by 3.4% compared with the cooperative hardware/software dynamic threshold adjustment algorithm.%鉴于现有的数据预取算法不能满足高效能异构计算系统对动态随机存取存储器（DRAM）和非易失性存储器（NVM）相结合的新型异构存储器高效访问的要求，提出了一种模拟退火的全局优化数据预取算法（SADPA）。该算法在启发式搜索模拟退火算法的基础上，引入了随机因子，以避免局部最优，从而确定了全局优化阈值以预取NVM页面的有效数量。实验结果表明，该算法相对于静态阈值调整算法，平均访问延时降低了4%，每个时钟周期内的平均指令数（IPC）增加了10.1%；对于cactusADM应用，该算法相对于软硬件协同的动态阈值调整算法，系统能耗降低了3.4%。

摘要： In order to overcome the shortcomings of the traditional data prefetching scheme ,this paper pro-poses a push data prefetching scheme in a distributed file system .It can reduce the amount of data commu-nication and network communication delay .At the same time ,it can reduce the client's burden of work by freeing the computing nodes running the client file system from tracking I/O operation and predicting I/O operation.So our data prefetching scheme improves the performance of storage system .%为了克服传统的数据预取机制的不足,提出了一种在分布式文件系统中存储服务器端的推送式数据预取机制 .在达到减少网络通信的数据量和通信时延目的的同时,可以让运行客户端文件系统的计算节点从跟踪I/O操作和预测I/O操作的工作中脱离出来,减轻了客户端的工作负担,提高了存储系统的性能 .

摘要： 当今时代数据呈现出指数级增长效应,更多的组织采用多数据中心和分布式来存储数据,Alluxio作为以内存为中心的虚拟分布式存储系统,整合了底层大数据生态系统.在Alluxio与底层存储结合的远程场景中,由于网络的延迟,使得I/0速度成为影响对外服务的重要因素之一.针对以上研究提出一种基于Alluxio远程场景下的缓存策略CPR,利用存储系统中数据块之间的关联性指导数据预取与替换,采用分组思想提高关联规则的利用率,启用后台线程实时更新规则集,并通过仿真实验验证策略的有效性.仿真结果表明,CPR策略指导下的I/O性能要优于Alluxio现有的缓存策略和一些基于数据块间关联规则的缓存策略.

摘要： The pointer chasing pattern of processor memory operations is analyzed,and pointer chasing operations' prob-lems of low data prefetching accuracy and long memory access latency in linked data applications are pointed out. To improve processors' pointer chasing access performance,an instruction label assisted memory prefetching(IL-AMP)technology is proposed.The technology is a prefetching mechanism under instruction label prompting.It adds a new access instruction to the instruction set architecture to make the instruction generate a special access label in the stage of decoding to demonstrate that the access operations' loading content is the pointer.The label can be sent through the memory hierarchy to the memory controller if Cache miss occurs.When the required pointer comes back to the memory controller from DRAM, the logic can make a prefetching operation immediately hide memory requests latency in the future.Experimental results show that the ILAMP technology can reduce the memory latency by 15%on average.The prefetching accuracy is above 77%for all programs.The bandwidth over-head increases only about 10%and the footprint is about 1kB.%分析了处理器访存操作的指针追逐模式,指出了链式数据应用中的指针追逐操作的数据预取准确率低、访存延迟大的问题.为了提升处理器指针追逐访存性能,提出了指令标签辅助的数据预取(ILAMP)技术.ILAMP技术是一种指令标签提示的预取机制,其通过在指令集架构中添加新的访存指令,使该指令在处理器译码阶段产生特殊访存标签,指明该访存操作的加载内容是指针.在Cache缺失的情况下,该标签一直传递到内存控制器.当加载的指针返回内存控制器时,则提取指针、发出预取请求.实验结果表明, ILAMP技术与无ILAMP情况相比,ILAMP技术降低DRAM读请求的平均访问延迟的平均值约为15%,预取精度高于77%,访存带宽增加10%左右,硬件开销约为1kB.

摘要： 传统数据去重备份系统在大数据应用场景下存在备份存储空间过大和数据吞吐量不足等缺点.为此,基于数据路由设计一种分布式备份数据去重系统.该系统以数据片为去重粒度,具有数据路由和数据预取2个功能.数据路由使用布隆过滤器对需要处理的数据片进行路由查询,数据预取则使用平均取样和基于Jaccard距离的近邻取样方案.通过数据路由分配数据片到相应处理节点进行处理,平均取样得到的数据片哈希码为数据路由提供路由信息,近邻取样得到的数据片哈希码用于系统首次数据去重.实验结果表明,该系统在保证数据去重率的同时,相对全节点查询和定点路由的数据片路由方式数据吞吐量提升明显.%In big data scenarios,traditional data deduplication backup system faces with defects like large data backup storage space,insufficient data throughput and so on.Aiming at these defects,this paper designs a distributed backup data dedeplication system based on data routing.It uses data chunk as deduplication granularity,whose functions involve data routing and data prefetching.Data routing uses the Bloom filter to query data chunks to be processed,and applies average sampling and neighbor sampling based on Jaccard distance to prefetch data chunks.This system uses data routing to assign data chunks to the corresponding processing nodes to deal with.Data chunks' hash code obtained through average sampling provides routing information for data routing.And data chunks' hash code obtained through neighbor sampling is used for the first data deduplication of the system.Experimental results show that the data throughput of this system increases significantly compared with all processing node query and fixed data routing,while maintaining the deduplication ratio.

摘要： 本文针对一种面向高密度计算的异构多核SoC系统,提出了一种层次化的共享二级存储结构(L2-Cache),以缓解系统数据处理速度与外部存储间的速度差异.所设计的层次化存储结构提供对象数据缓存功能,利用计数替换策略,减少二级存储污染,提高有效数据命中率;在计算时间间隙实现数据准确预读取和L2-主存同步操作,增加有效存储带宽.最终测试结果表明,采用层次化存储结构的设计兼顾了不同访存比应用的数据访存特性,平均访存性能提高31.1%,不同规模的矩阵运算最高获得1.573的加速比,整体任务计算时间平均减少了27.8%.

摘要： 对于非规则访存的应用程序，当某个应用程序的访存开销大于计算开销时，传统帮助线程的访存开销会高于主线程的计算开销，从而导致帮助线程落后于主线程。于是提出一种改进的基于参数控制的帮助线程预取模型，该模型采用梯度下降算法对控制参数求解最优值，从而有效地控制帮助线程与主线程的访存任务量，使帮助线程领先于主线程。实验结果表明，基于参数选择的线程预取模型能获得1.1～1.5倍的系统性能加速比。%To the applications with irregular accessing memory,if the overhead of accessing memory for a given application is much greater than that of computation,it will make the helper thread lag behind the main thread.Hereby,an improved helper thread pre-fetching model by adding control parameters was proposed.The gradient descent algorithm is one of the most popular machine learning algorithms,which was adopted to determine the optimal control parameters.The amount of the memory access tasks was controlled by the control parameters effectively,which makes the helper thread be finished ahead of the main thread.The experiment results show that the speedup of system performance is achieved by 1.1 times to 1.5 times.

摘要： 用Linpack测试集测试了计算机系统浮点性能,测试用函数运算库为Goto BLAS库.该库对Linpach的测试结果有很大影响.为了提高Goto BLAS性能,观察了GotoBLAS库在龙芯3A2000处理器平台的性能表现,分析了测试软件的执行流程、数据的处理方法,根据处理器的结构特点,合理配置矩阵分块参数,优化核心循环的实现方案,同时采用软硬件数据预取技术及优化的内核TLB配置策略.在这些优化方法的共同作用下,仿真平台上核心函数的浮点部件效率超过90％.优化方案在本实验中取得了显著的效果.%Linpack was applied to evaluation of the performance of a computer system,and the Goto BLAS library was used as the function operation library.The performance of the library has a large impact on Linpack test results.To achieve its high performance,the study observed the performance expression of the Goto BLAS library on the Loongson 3 A2000 processor,and analyzed the testing software's execution flow and data processing methods,and then,according to the structural features of the processor,reasonably allocated the block matrix and optimized the scheme for implementation of the core loop in the function.Meanwhile,the data-fetching technologies of software and hardware,and the optimized TLB configuration schemes were adopted.With the combined effects of these optimizations,the efficiency of float point component on the simulation platform reached more than 90％,which means the optimization schemes achieved the significant results in this experiment.

摘要： 本文介绍数据预取是一种有效的隐藏访存延迟的技术,通过提前一定的时钟周期将数据移动到较高的存储层次,为处理器及时提供所需要的数据.传统的预取技术是基于Cache的,但在一些体系结构中软件管理的片上存储(SPM)已经取代了Cache,所以本文给出一种带有软件管理片上存储的硬件模型,提出相应的软硬件协同Cache设计方法,并在此基础上给出编译器指导的预取算法描述.

摘要： 数据预取技术是缓解存储墙问题的一个非常有效地方法，现有的预取器主要是通过识别缺失地址流的模式来进行操作。空间相关和时间相关分别通过识别程序访存的空间规律和时间规律来预测程序未来的访存行为。本文在对程序访存行为和现有数据预取方法的优缺点的分析的基础上，提出结合空间相关和时间相关的数据预取方法。能捕获有规律的空间访问模式和空间跨度较大的重复访问模式。通过系统仿真和数据分析并与当前的一些数据预取方法比较，结果表明该方法更有效的提高了处理器的性能。

摘要： 本文在研究ORC编译器反馈式编译优化技术的基础上，针对Alpha结构的特点，对针对链式结构的反馈式数据预取进行了优化。SPEC2000测试表明，平均性能提高了4.1%。

摘要： 随着AI产业的发展,智能型移动终端设备上开始出现了各类AI技术的应用.移动端SoG功耗和面积的限制导致了计算能力的缺失,是实验室和企业普遍关注的问题.本文面向搜狗的机器翻译平台进行了ARMv8架构的SGEMM计算优化,使用了内联汇编、数据重排和数据预取等3种技术递进优化,方阵乘法最优效率为10.23Gf/s,达到实测浮点峰值的78％;细长矩阵乘法最优效率为6.35Gf/s,达到了实测浮点峰值的48％;连续小矩阵乘法最优效率为2.53Gf/s,达到了实测浮点峰值的19％.

摘要： 在过去的10年间,随着硬件技术不断发展,内存价格越来越低,许多计算机系统均布置了大容量内存.数据库系统开发商和研究人员认识到这一趋势,并开发出多款内存数据库产品,其特点在于先将数据装载到内存之中,再执行相应的数据管理任务.随着内存数据库的出现,如何客观、公正地评测它的性能显得愈发重要.尽管当前不乏关于关系型数据库系统的评测基准,例如威斯康星测试基准和TPC-X系列等,但是这些基准并未充分考虑内存数据库的重要特性,因此不适合评测内存数据库.本文提出了一种面向内存数据库的评测基准(InMemBench),与传统的关系数据库基准显著不同,它综合考虑了内存数据库特有的数据预取过程、物理组织方式和压缩能力等方面的重要特点.最后,本文还通过新基准比较了4款内存数据库的性能.

摘要： 数据预取是通过隐藏访存延迟改善应用性能的有效方法.反馈式优化技术可以解决基于指针的链式数据结构的预取问题.本文在申威1600处理器上实现了基于硬件性能计数事件驱动的采样式反馈预取优化,对部分访存密集型SPEC2006的测试表明:平均性能提高了4.3％,同时采样的开销控制在10％以内.

摘要： HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价(low-cost)存储的优点,在当前面向云计算的应用场景中得到了广泛应用.然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想.提出一种基于小文件合并的方法HIFM(Hierarchy Index File Merging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引.采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载.此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率.实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合.

摘要： 针对读取数据这一制约绘制性能的主要因素,从时变数据场的相邻帧相似性入手,利用前一帧图像的绘图区域预测下一帧图像的绘图区域,进而转换成I/O参数,实现连续绘制中的数据预取。并在多帧图像绘制过程中形成载人、处理、绘制三级流水线,提高可视化的速度。微机测试表明,由于图像相邻帧相似度的不同,时变可视化数据预取将可视化性能提高17.2％～47.5％。

摘要： 基于数论函数,提出一种偏斜相联(skewed-associative)对象Cache,解决了面向对象处理器中对象间接寻址引发的多次存储访问和访存延迟问题；给出了2路偏斜对象Cache的基本结构和散列函数的构造方法；提出适合于偏斜相联对象Cache的伪最近最少使用Cache替换算法,并讨论了对象Cache中的数据预取与更新策略,保证了对象数据的完整性及一致性。模拟结果表明,与组相联对象Cache相比,偏斜对象Cache具有较高的Cache命中率.

摘要： 大规模时变科学数据可视化处理通常要按时间步分解输入,形成帧序列.每一帧的处理需至少经历数据载入、处理与绘制三个步骤.由于数据量大、读取模式不规则,数据载入成为制约帧处理性能的主要因素之一.考虑相邻帧物理图像的相似性,如果能够利用上一帧数据读入列表预测当前帧输入情况,那么可以在上一时间步数据输入之后将本时间步数据从外存读入内存,进而在本时间步处理过程中快速获得数据,减少可视化处理的等待时间.利用微机测试表明,由于数据集的不同,时变可视化数据预取将可视化性能提高17.2%到47.5%.

摘要： 本发明提供一种用于总线系统的预取装置、预取系统及预取数据方法，特别涉及一种用于总线系统的预取数据方法。首先，一预取地址产生器依据一主控单元传送的一地址信号，产生一预取地址信号，并将该预取地址信号传送至一第一选择电路。当该主控单元传送的信号指示目前传输与上一笔传输的地址信号相关，且目前传输与上一笔传输的控制信号相同时，或当该主控单元传送的信号指示目前传输与上一笔传输的地址信号与控制信号皆无关，且符合一命中条件时，一预取控制器控制该第一选择电路将该预取地址信号传送至一受控单元，并控制一第二选择电路，将来自该受控单元的一预取数据传送至该主控单元。本发明不仅增快了读取的速度，也可提升总线的效能。

摘要： 本发明提供一种用于总线系统的预取装置、预取系统及预取数据方法，特别涉及一种用于总线系统的预取数据方法。首先，一预取地址产生器依据一主控单元传送的一地址信号，产生一预取地址信号，并将该预取地址信号传送至一第一选择电路。当该主控单元传送的信号指示目前传输与上一笔传输的地址信号相关，且目前传输与上一笔传输的控制信号相同时，或当该主控单元传送的信号指示目前传输与上一笔传输的地址信号与控制信号皆无关，且符合一命中条件时，一预取控制器控制该第一选择电路将该预取地址信号传送至一受控单元，并控制一第二选择电路，将来自该受控单元的一预取数据传送至该主控单元。本发明不仅增快了读取的速度，也可提升总线的效能。

摘要： 本发明提供一种数据预取装置、数据预取方法及微处理器。数据预取单元包括步幅计算电路、比较模块、步幅选取模块及预取输出模块。步幅计算电路，接收存取地址，以计算并提供存取地址与先前存取地址之间的步幅。比较模块接收存取地址及步幅，依据第一倍数、存取地址、以及步幅产生参考地址，依据参考地址与历史存取地址是否匹配产生并输出命中指示值。步幅选取模块接收预取使能值以及命中指示值，以依据预取使能值以及命中指示值产生预取标记值。预取输出模块，接收预取标记值，以依据预取标记值选择以及输出预取地址。

摘要： 本发明公开了一种基于步幅和数据相关性的数据预取器及其预取方法，所述预取器包括步幅预取表、历史数据表、数据队列；所述预取方法通过步幅预取表和历史数据表对二级缓存未命中进行检测，判断是否进入预取状态，相应的在数据队列中添加预取请求，并对向外存访问接口发出预取信号进行预取。所述预取器及其预取方法在步幅预取方案的基础上增加关联性预取的技术特点，减少步幅预取方案的训练过程，从而提高步幅预取方案的预取覆盖率，实现性能提升并且节省了大量存储空间。

摘要： 一种数据预取器及预取数据至高速缓存存储器的方法。该数据预取器，包括具有多已索引的储存元件的一序列，用以储存多个已排序的步幅，这些步幅相关于来自一相同存储器页面的多个暂时相邻的载入要求的一数据流；以及一逻辑单元，用以计算该数据流的一现行载入要求与一最新先前载入要求之间的一现行步幅。逻辑单元对比现行步幅以及序列中的一步幅M，并对比序列中的最新步幅以及已排序的一步幅M+1。当对比配对时，逻辑单元预取一高速缓存线，而该高速缓存线的偏移为该现行载入要求与该步幅M-1的总合。

摘要： 提供了一种数据预取方法及数据预取装置。数据预取方法包括：接收第一访存指令，第一访存指令对应的地址属于内存的第一存储区域；根据第一存储区域的历史访存模式，确定预取数据，历史访存模式用于指示第一存储区域的历史访问数据，预取数据包括历史访问数据中的部分或全部数据；根据预取数据，向内存控制器发送预取指令，预取指令用于将预取数据存储至预取缓存区。本申请实施例通过将访存指令对应的地址所属区域的历史访问数据的部分或全部数据预先存储至缓存区，以便待执行的访存指令可以从缓存区获取待使用的数据。该方法能够以尽量少的操作次数使得预取数据尽可能的覆盖待执行指令所需的数据，从而有助于降低内存的功耗。

摘要： 一种数据预取方法和数据预取装置、处理器。该数据预取方法包括：该数据预取方法包括：获取当前数据预取请求，其中，当前数据预取请求对应于缓存中的目标缓存替换组；获取目标缓存替换组的访问情况；基于目标缓存替换组的访问情况，调整执行目标数据预取请求时的预取策略，其中，目标数据预取请求包括当前数据预取请求，或者在当前数据预取请求之后执行的一个数据预取请求。该数据预取方法基于目标缓存替换组的访问情况实时、动态地调整预取请求，避免因预取数据导致缓存中最近经常被访问的数据被替换掉，提高处理器的处理效率，合理利用缓存资源。

摘要： 本申请实施例公开了一种数据预取方法和数据预取装置，用于提高预取数据的准确率，提高预取效果。本申请实施例方法应用于处理系统，所述处理系统包括第一存储设备和第二存储设备，所述方法包括：对所述处理系统的待执行指令进行语义分析；识别所述待执行指令中的具有读写语义的指令；根据所述具有读写语义的指令确定待预取数据的逻辑地址，所述待预取数据为所述处理系统执行所述具有读写语义的指令时将访问的且未存储于所述第一存储设备的数据，所述待预取数据存储于所述第二存储设备中，所述第一存储设备的访问速度大于所述第二存储设备的访问速度。

摘要： 本发明提供一种数据预取装置、数据预取方法及微处理器。数据预取单元包括步幅计算电路、比较模块、步幅选取模块及预取输出模块。步幅计算电路，接收存取地址，以计算并提供存取地址与先前存取地址之间的步幅。比较模块接收存取地址及步幅，依据第一倍数、存取地址、以及步幅产生参考地址，依据参考地址与历史存取地址是否匹配产生并输出命中指示值。步幅选取模块接收预取使能值以及命中指示值，以依据预取使能值以及命中指示值产生预取标记值。预取输出模块，接收预取标记值，以依据预取标记值选择以及输出预取地址。

摘要： 本发明公开了一种基于步幅和数据相关性的数据预取器及其预取方法，所述预取器包括步幅预取表、历史数据表、数据队列；所述预取方法通过步幅预取表和历史数据表对二级缓存未命中进行检测，判断是否进入预取状态，相应的在数据队列中添加预取请求，并对向外存访问接口发出预取信号进行预取。所述预取器及其预取方法在步幅预取方案的基础上增加关联性预取的技术特点，减少步幅预取方案的训练过程，从而提高步幅预取方案的预取覆盖率，实现性能提升并且节省了大量存储空间。