用于检测跨分片访问、提供多分片推理缩放和提供最佳页迁移的多分片存储器管理

摘要

本文公开了用于检测跨分片访问、利用经由复制操作的数据多播提供多分片推理缩放和提供页迁移的多分片存储器管理。在一个实施例中，一种用于多分片架构的图形处理器包括：第一图形处理单元(GPU)，其具有存储器和存储器控制器；第二图形处理单元(GPU)，其具有存储器；以及跨GPU结构，其用于通信地耦合第一GPU和第二GPU。存储器控制器被配置为：确定在多GPU配置中从第一GPU到第二GPU的存储器是否发生频繁的跨分片存储器访问；以及当从第一GPU到第二GPU的存储器发生频繁的跨分片存储器访问时，发送消息以发起数据传送机制。