一种面向5G时代的人工智能云平台

摘要

本发明公开了一种面向5G时代的人工智能云平台，具体涉及人工智能、云计算、大数据领域，包括异构分布式云平台，所述异构分布式云平台以分布式移动云计算协同架构为基本架构；所述分布式移动云计算协同架构包括智能终端、移动网络、分布式移动云计算服务器、协同控制器和端到端‑终端计算卸载服务质量保证机制系统。本发明建立面向5G的分布式移动云计算协同架构与端到端‑终端计算卸载服务质量保证机制，可以降低终端在计算卸载中的网络交互信令开销，以及终端驻留决策进程的CPU占用率与能耗；保证端到端服务质量，支持深度学习模型与算法的定制扩展的分布式深度学习平台，可以规避传统移动云计算给广域网带来的巨大负载量与能耗。

说明书

技术领域

本发明涉及人工智能、云计算、大数据技术领域，更具体地说，本发明涉及一种面向5G时代的人工智能云平台。

背景技术

人工智能(ArtificialIntelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；

5G网络是第五代移动通信网络，其峰值理论传输速度可达每秒数1Gb，比4G网络的传输速度快数百倍，随着5G技术的诞生，用智能终端分享3D电影、游戏以及超高画质(UHD)节目的时代正向我们走来；

而5G带动下的万物互联时代将产生海量的数据，对云计算的需求将随之增加；5G边缘计算可以通过更靠近应用侧的数据处理能力，更好地实现物与物之间的传感、交互和控制，这给了云计算带来了巨大的增量空间。

当数据海啸式增长，对算力需求将极大增加，对爆炸式信息增长和动态灵活的架构需求现在还没有一个很好的解决方案以及人工智能云平台。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种面向5G时代的人工智能云平台，通过自主研发面向5G时代的高性能异构分布式云平台，融合分布式移动云计算协同架构技术，建立面向5G的分布式移动云计算协同架构与端到端-终端计算卸载服务质量保证机制系统，可以降低终端在计算卸载中的网络交互信令开销，以及终端驻留决策进程的CPU占用率与能耗；可以保证移动云计算的端到端服务质量，支持深度学习模型与算法的定制扩展的分布式深度学习平台，可以规避传统移动云计算给广域网带来的巨大负载量与能耗，通过5G网络和云端进行实时交互，提升数据处理能力，降低时延，融合5G技术突破AI传输技术的瓶颈，实现智慧赋能。

为实现上述目的，本发明提供如下技术方案：一种面向5G时代的人工智能云平台，包括异构分布式云平台，所述异构分布式云平台以分布式移动云计算协同架构为基本架构；

所述分布式移动云计算协同架构包括智能终端、移动网络、分布式移动云计算服务器、协同控制器和端到端-终端计算卸载服务质量保证机制系统，所述分布式移动云计算服务器连接服务基站，所述协同控制器连接协同服务器；

所述智能终端作为移动云计算的发起端，周期地通过移动通信网络上传其自身状态感知信息，并接收协同控制器计算相关卸载分割决策；

所述移动网络为发起计算卸载请求的智能终端提供无线接入与传输；

所述分布式移动云计算服务器部署于移动接入网络侧的小型服务器或多小型服务器集群，其负载状态与虚拟机计算能力感知信息周期上传到协同服务器，并接收协同控制器决策信息为计算卸载任务预留虚拟机资源；

所述协同控制器用于收集智能终端、移动网络和分布式移动云计算服务器的感知信息，并生成计算卸载分割决策下发给智能终端，以及资源预留决策下发给服务基站与分布式移动云计算服务器；

所述端到端-终端计算卸载服务质量保证机制系统包括分布式云计算感知模块和协同决策模块，所述分布式云计算感知模块分别在服务器层次和虚拟机层次进行工作，所述协同决策模块包括移动终端部分决策信息单元、移动通信网络部分决策信息单元和分布式云计算节点决策信息单元；

所述异构分布式云平台包括异构分布式人工智能云计算中心、分布式深度学习平台、深度学习大规模训练系统、异构超算平台以及异构基础算法库；

所述深度学习大规模训练系统用于多机器多CPU-FPGA-GPU混合分布式深度学习模型训练，支持千亿级参数的模型，上亿类别的大规模分类；

所述异构超算平台提供多个计算集群、中央统一存储、轻量级虚拟化并给研究人员提供源源不断的计算能力的支持；

所述异构基础算法库存储有深度神经网络在内的各种机器学习算法与数学和图像处理算法；

所述异构分布式人工智能云计算中心用于实现5G网络和云端的人工智能实时交互；

所述分布式深度学习平台用于支持深度学习模型与算法的定制扩展，支持CPU-GPU或者GPU-GPU或者CPU-FPGA-GPU混合分布式运算。

在一个优选地实施方式中，所述协同控制器的形式为运行于分布式云计算服务器中的实例或虚拟机或共存于运营商其他网元，具体为服务网关、分组数据网关与策略与资源管理模块。

在一个优选地实施方式中，所述智能终端通过本地网关连接移动性管理实体，所述移动性管理实体通过服务网关连接分组数据网关和策略与资源管理设备，所述分组数据网关和策略与资源管理设备连接，所述分组数据网关和策略与资源管理设备分别连接运行商业务终端和互联网，所述智能终端还通过本地网关连接分布式移动云计算服务器。

在一个优选地实施方式中，所述分布式云计算感知模块在服务器层次用于采集整个计算节点服务器或服务器集群的负载情况，具体包括服务器吞吐量、服务器并发通信状态、服务器计算资源使用情况、服务器存储资源占用率以及当计算节点为服务器集群且在集群内部采用了虚拟化技术实现整个集群的虚拟化资源池时，服务器层次感知信息应充分考虑虚拟资源池的整体情况。

在一个优选地实施方式中，所述分布式云计算感知模块在虚拟机层次用于对整个节点内虚拟机状态信息进行采集，信息包括：虚拟机的数量、各虚拟机所占有的计算与存储资源量、各虚拟机等效产生的吞吐量以及承载资源的相关状态信息。

在一个优选地实施方式中，所述协同控制器通过采集智能终端、移动通信网络和分布式移动云计算服务器的感知信息，充分掌握智能终端、移动网络以及各分布式云计算节点的状态信息，所述协同决策模块通过对掌握的信息综合分析，产生协同决策并分别下发至智能终端、移动网络网元以及分布式云计算节点，各部分按照决策执行各自相应的动作。

在一个优选地实施方式中，所述移动终端部分决策信息单元用于根据智能终端目前的电池、能耗及计算资源状态，决定相应移动应用的计算子任务划分，并进一步根据智能终端的无线带宽资源状态，规划本地计算任务及卸载计算任务，当终端接入多基站时，同时涉及对每个卸载计算子任务指定相应的接入基站，此时移动终端部分决策信息单元将乱序返回的计算子任务结果正确重组。

在一个优选地实施方式中，所述移动通信网络部分决策信息单元用于根据智能终端与各接入基站间的无线带宽状态，以及各基站的回传网络拥塞状态，为卸载计算任务数据及返回结果数据分配相应接入点完成接收与发送。

在一个优选地实施方式中，所述分布式云计算节点决策信息单元用于根据各分布式云计算节点的状态信息，为各卸载计算子任务指派相应分布式云计算节点完成计算承载任务；用于决策每个分布式云计算节点承载相应卸载计算子任务所需虚拟化资源，生成虚拟机完成计算任务；用于多个分布式云计算节点间的计算进程实现并行协同。

本发明的技术效果和优点：

1、本发明通过针对5G时代AI云计算服务系统应用场景中对增强移动宽带、低时延高可靠和大连接低功耗的需求，对现有网络云计算服务平台在技术上架构的的不足之处进行改进，自主研发面向5G时代的高性能异构分布式云平台，融合分布式移动云计算协同架构技术，建立面向5G的分布式移动云计算协同架构与端到端-终端计算卸载服务质量保证机制系统，可以降低终端在计算卸载中的网络交互信令开销，以及终端驻留决策进程的CPU占用率与能耗；可以保证移动云计算的端到端服务质量，支持深度学习模型与算法的定制扩展的分布式深度学习平台，可以规避传统移动云计算给广域网带来的巨大负载量与能耗；

2、面向5G时代，本发明采用高性能异构分布式云平台，结合深度学习大规模训练系统，利用异构高性能计算中心与高性能异构基础算法库，为用户提供强大的面向5G智能时代的企业人工智能创新服务解决方案，充分利用5G高速率和低延时的特性，促进云端AI和终端侧AI的智能协作，通过5G网络和云端进行实时交互，提升数据处理能力，降低时延，融合5G技术突破AI传输技术的瓶颈，实现智慧赋能；

3、终端侧AI可快速响应用户需求，以低功耗、低成本方式向用户快速展示处理后的图像、视频、语音和文本信息，适合完成AI推理任务；5G技术的融入，使得云端AI与终端侧AI的智能协同创新融合成为可能，通过5G网络和云端进行实时交互，提升数据处理能力，降低时延；云端AI用于实现多终端数据汇聚，在数据吞吐量和处理速度等方面更具优势，适合完成大规模大数据量的AI模型训练任务。

附图说明

图1为本发明的整体结构框图。

图2为本发明的分布式移动云计算协同架构结构框图。

图3为本发明的分布式移动云计算协同架构拓扑图。

图4为本发明的端到端-终端计算卸载服务质量保证机制系统拓扑图。

图5为本发明的分布式深度学习平台结构示意图。

图6为本发明的深度学习大规模训练系统结构示意图。

图7为本发明的异构超算平台结构示意图。

图8为本发明的异构基础算法库结构示意图。

附图标记为：1异构分布式云平台、11异构分布式人工智能云计算中心、12分布式深度学习平台、13深度学习大规模训练系统、14异构超算平台、15异构基础算法库、2分布式移动云计算协同架构、21智能终端、22移动网络、23分布式移动云计算服务器、24协同控制器、25端到端-终端计算卸载服务质量保证机制系统、3服务基站。

实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据图1-3所示的一种面向5G时代的人工智能云平台，包括异构分布式云平台1，所述异构分布式云平台1以分布式移动云计算协同架构2为基本架构；

移动云计算将终端计算任务卸载到云端，在降低终端能耗的同时，提供了在终端有限资源情况下实现大计算量移动应用能力，必将成为构建未来移动互联网创新服务的必不可少的关键技术；然而，目前移动云计算现阶段技术发展对于移动设备到云计算中心的端到端网络时延与带宽不稳定，以及影响移动云计算服务质量的主要因素的动态性等问题仍然缺乏有效的对抗手段，同时在计算卸载由终端感知与协商决策方面缺少有效的机制设计，因此本发明结合4G、5G网络无线接入网技术的特点，提出了一种分布式移动云计算协同架构2；

所述分布式移动云计算协同架构2包括智能终端21、移动网络22、分布式移动云计算服务器23、协同控制器24和端到端-终端计算卸载服务质量保证机制系统25，所述分布式移动云计算服务器23连接服务基站3，所述协同控制器24连接协同服务器；

所述智能终端21作为移动云计算的发起端，周期地通过移动通信网络上传其自身状态感知信息，并接收协同控制器24计算相关卸载分割决策；

所述移动网络22为发起计算卸载请求的智能终端21提供无线接入与传输；

所述分布式移动云计算服务器23部署于移动接入网络侧的小型服务器或多小型服务器集群，其负载状态与虚拟机计算能力感知信息周期上传到协同服务器，并接收协同控制器24决策信息为计算卸载任务预留虚拟机资源；

所述协同控制器24用于收集智能终端21、移动网络22和分布式移动云计算服务器23的感知信息，并生成计算卸载分割决策下发给智能终端21，以及资源预留决策下发给服务基站3与分布式移动云计算服务器23；

所述协同控制器24的形式为运行于分布式云计算服务器中的实例或虚拟机或共存于运营商其他网元，具体为服务网关、分组数据网关与策略与资源管理模块；

所述智能终端21通过本地网关连接移动性管理实体，所述移动性管理实体通过服务网关连接分组数据网关和策略与资源管理设备，所述分组数据网关和策略与资源管理设备连接，所述分组数据网关和策略与资源管理设备分别连接运行商业务终端和互联网，所述智能终端21还通过本地网关连接分布式移动云计算服务器23；

实施方式具体为：通过融合分布式移动云计算协同架构2技术，建立面向5G的分布式移动云计算协同架构2与端到端-终端计算卸载服务质量保证机制系统25，可以降低终端在计算卸载中的网络交互信令开销，以及终端驻留决策进程的CPU占用率与能耗；可以保证移动云计算的端到端服务质量；可以规避传统移动云计算给WAN带来的巨大负载量与能耗，

可以预见，在用户、智能设备商和移动网络22运营商的多方推动下，未来分布式移动云计算将成为4G与5G网络的主流技术之一，成为移动运营商的基础网络设施并为其提供新的业务增长点，为智能终端21应用提供更佳的用户体验。

尽管目前5G移动网络22技术仍处于预研过程中，但是，众多5G网络可以预见的潜在技术为上述提出的分布式移动云计算提供了有效的可行性支撑，潜在技术有：

a.超密集蜂部署

延续以提高网络覆盖质量与网络容量为目的的LTE4G网络微型基站部署的思路，如毫微微基站(Femtocell)基站与微微基站(Picocell)等。在5G网络微型基站的部署将更加密集，在同频干扰与无线资源复用问题有效解决的条件下，这种无线组网方式将能够承载更多的移动网络22传输，并且接入点与智能终端21间的无线传输平均距离的拉近，可以有效降低移动云计算中智能终端21无线数据传输的能耗与时延。

b.大规模MIMO

作为多输入多输出(MIMO)技术的衍生增强，大规模MIMO(MassiveMIMO)通过在发送端及/或接收端部署更大数量(几十甚至成百)的天线单元，从可实现通过简单的线性预编码算法，获得空间波束赋形增益的大幅度提升，显著增强点对点/多点链路的通信可靠性，链路吞吐量，频谱效率以及能量效率，从而能够以高速率承载更多的并发移动云计算传输。

c.毫米波回传

随着基站数量的激增，连接宏基站、微型基站与移动交换节点间的回传网络成为网络性能保证的关键。目前，业界已经开始将毫米波(包括71～76、81～86、92～95GHz频段等)作为4G回传网络的承载方式，其也必将在5G网络中进一步得到增强。微波回传将为5G网络中包括宏基站与微型基站的回传带宽与时延提供保证，特别是能够有效解决微型基站ADSL回传链路的时延抖动与拥塞问题，从而以低时延、高速率支撑分布式移动云计算协同结构中智能终端21与基站向协同控制器24的感知上传，以及协同控制器24向终端与基站的决策下发。

如图4所示，终端通过移动云计算卸载的计算任务最终需要在分布于移动接入网中的分布式云计算服务器中的虚拟机中完成的，因此，包括各分布式计算节点的负载，以及各节点内可承载的虚拟机数量以及各虚拟机的计算能力在内的分布式云计算感知，是选择计算卸载节点的重要依据，对移动云计算性能具有重要影响；

由上所述，所述端到端-终端计算卸载服务质量保证机制系统25包括分布式云计算感知模块和协同决策模块，所述分布式云计算感知模块分别在服务器层次和虚拟机层次进行工作，所述协同决策模块包括移动终端部分决策信息单元、移动通信网络部分决策信息单元和分布式云计算节点决策信息单元；

所述分布式云计算感知模块在服务器层次用于采集整个计算节点服务器或服务器集群的负载情况，具体包括服务器吞吐量、服务器并发通信状态、服务器计算资源使用情况、服务器存储资源占用率以及当计算节点为服务器集群且在集群内部采用了虚拟化技术实现整个集群的虚拟化资源池时，服务器层次感知信息应充分考虑虚拟资源池的整体情况；

所述分布式云计算感知模块在虚拟机层次用于对整个节点内虚拟机状态信息进行采集，信息包括：虚拟机的数量、各虚拟机所占有的计算与存储资源量、各虚拟机等效产生的吞吐量以及承载资源的相关状态信息；

目前主流服务器产品均支持对上述信息的软件化采集与存储，通过高效的接口与信息共享机制，实现协作控制器的分布式云计算高效感知；

所述协同控制器24通过采集智能终端21、移动通信网络和分布式移动云计算服务器23的感知信息，充分掌握智能终端21、移动网络22(包括接入网与核心网)以及各分布式云计算节点的状态信息，所述协同决策模块通过对掌握的信息综合分析，产生协同决策并分别下发至智能终端21、移动网络22网元以及分布式云计算节点，各部分按照决策执行各自相应的动作，实现协同的分布式云计算，为终端应用提供用户体验保障；

所述移动终端部分决策信息单元用于根据智能终端21目前的电池、能耗及计算资源状态，决定相应移动应用的计算子任务划分，并进一步根据智能终端21的无线带宽资源状态，规划本地计算任务及卸载计算任务，当终端接入多基站时，同时涉及对每个卸载计算子任务指定相应的接入基站，此时移动终端部分决策信息单元将乱序返回的计算子任务结果正确重组；

所述移动通信网络部分决策信息单元用于根据智能终端21与各接入基站间的无线带宽状态，以及各基站的回传网络拥塞状态，为卸载计算任务数据及返回结果数据分配相应接入点完成接收与发送，具体包括：

当终端应用想远端发起计算卸载请求时，通知相应基站负责接收来自终端的包含相应远端计算子任务的空口数据；

当分布式云计算节点返回子计算任务结果时，指派相应基站向指定终端发送包含返回子计算任务结果的空口数据；

考虑到用户移动性，相同子计算任务的请求及结果的发送与接收基站需要分别动态指派；当卸载计算任务数据到达移动网络22核心网，根据核心网承载网络状态(拓扑、链路流量、节点负荷)，为各卸载计算子任务数据选择路由，实现各卸载计算子任务数据到指定的分布式云计算节点的高效转发，降低核心网网络负荷及时延；

反之，当分布式云计算节点返回各卸载计算子任务结果时提供向指派接入网节点的路由转发；该过程可依托于软件定义网络技术实现路由转发面的动态适配；

所述分布式云计算节点决策信息单元用于根据各分布式云计算节点的状态信息，为各卸载计算子任务指派相应分布式云计算节点完成计算承载任务；用于决策每个分布式云计算节点承载相应卸载计算子任务所需虚拟化资源，生成虚拟机完成计算任务；用于多个分布式云计算节点间的计算进程实现并行协同。

如图5-8所示，所述异构分布式云平台1包括异构分布式人工智能云计算中心11、分布式深度学习平台12、深度学习大规模训练系统13、异构超算平台14以及异构基础算法库15；

所述异构分布式人工智能云计算中心11用于实现5G网络和云端的人工智能实时交互；所述分布式深度学习平台12用于支持深度学习模型与算法的定制扩展，支持CPU-GPU或者GPU-GPU或者CPU-FPGA-GPU混合分布式运算。

所述深度学习大规模训练系统13用于多机器多CPU-FPGA-GPU混合分布式深度学习模型训练，支持千亿级参数的模型，上亿类别的大规模分类，行业领先的内存优化和通信优化技术，数百块CPU-FPGA-GPU混合分布式联合训练，极大提升了公司训练和迭代模型的速度，见图6所示；

所述异构超算平台14提供多个计算集群、中央统一存储、轻量级虚拟化并给研究人员提供源源不断的计算能力的支持，见图7所示；

所述异构基础算法库15存储有深度神经网络在内的各种机器学习算法与数学和图像处理算法；相对于行业内开源平台库，带来2-5倍的性能提升。支持主流的云端、个人电脑、移动端和嵌入式端硬件平台，支持多种系统平台，如Linux、Android、iOS和Windows等，见图8所示。

实施方式具体为：本发明异构分布式云平台1支持深度学习模型与算法的定制扩展的分布式深度学习平台12，可以规避传统移动云计算给广域网(WAN)带来的巨大负载量与能耗；

通过异构分布式人工智能云平台计算中心，实现5G技术的融入，使得远端AI与终端侧AI的智能协同创新融合成为可能，通过5G网络和云端进行实时交互，提升数据处理能力，降低时延，融合5G技术突破AI传输技术的瓶颈，实现智慧赋能；

面向5G时代，本发明采用高性能异构分布式云平台1，结合深度学习大规模训练系统13，利用异构高性能计算中心与高性能异构基础算法库15，为用户提供强大的面向5G智能时代的企业人工智能创新服务解决方案。

最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；

其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。