模型压缩

摘要： 针对传统轻量型卷积神经网络模型复杂度高,移动端识别速度慢,小样本数据集上训练、识别效果差的等问题,提出一种高效的改进后的移动端煤矸识别方法;分析卷积神经网络模型轻量化的方法,并从注意力机制、激活函数和分类头3个方面对MobileNetv3网络进行改进,通过模型量化压缩网络在移动端部署模型,分析改进网络量化前、后的空间存储容量,浮点运算次数,推理时间和识别准确率;在移动端煤矸识别实验装置中训练、部署和测试模型的识别效果。结果表明:改进后网络经过20次的训练后模型即收敛,收敛速度较快,训练和验证准确率均大于99%;改进后模型经量化压缩后模型存储容量较小,仅为原网络的24.64%,模型复杂度大幅度下降;移动端推理时间仅为77 ms,识别准确率达到99.7%;利用实验装置实时采集的煤和矸石图像的识别效果较好,识别方法可靠。

摘要： 提出一种将航拍车辆视频预处理与轻量化目标检测模型结合的级联方式.首先,针对无人机拍摄的车辆视频数据大量冗余的问题,在边缘设备设置一个两级过滤器,通过帧的像素级及结构性差异过滤大量冗余帧,从而大幅减少传输到后端的检测模型的帧数;其次,针对高精度目标检测模型时延高的问题,采用通道剪枝与层剪枝结合的方法压缩YOLOv3模型并部署在PC端,实现时延和精度的均衡.实验结果表明:两级过滤器能够有效过滤90％以上的冗余帧数,相较于原模型,压缩模型在精度仅下降2％左右的情况下,检测速度提高78.3％,达到36.9帧·s-1.

摘要： 高性能的深度学习网络通常是计算型和参数密集型的,难以应用于资源受限的边缘设备.为了能够在低资源设备上运行深度学习模型,需要研发高效的小规模网络.知识蒸馏是获取高效小规模网络的一种新兴方法,其主要思想是将学习能力强的复杂教师模型中的“知识”迁移到简单的学生模型中.同时,它通过神经网络的互学习、自学习等优化策略和无标签、跨模态等数据资源对模型的性能增强也具有显著的效果.基于在模型压缩和模型增强上的优越特性,知识蒸馏已成为深度学习领域的一个研究热点和重点.本文从基础知识,理论方法和应用等方面对近些年知识蒸馏的研究展开全面的调查,具体包含以下内容:(1)回顾了知识蒸馏的背景知识,包括它的由来和核心思想;(2)解释知识蒸馏的作用机制;(3)归纳知识蒸馏中知识的不同形式,分为输出特征知识、中间特征知识、关系特征知识和结构特征知识;(4)详细分析和对比了知识蒸馏的各种关键方法,包括知识合并、多教师学习、教师助理、跨模态蒸馏、相互蒸馏、终身蒸馏以及自蒸馏;(5)介绍知识蒸馏与其它技术融合的相关方法,包括生成对抗网络、神经架构搜索、强化学习、图卷积、其它压缩技术、自动编码器、集成学习以及联邦学习;(6)对知识蒸馏在多个不同领域下的应用场景进行了详细的阐述;(7)讨论了知识蒸馏存在的挑战和未来的研究方向.

摘要： 为了解决数据共享需求与隐私保护要求之间不可调和的矛盾,联邦学习应运而生。联邦学习作为一种分布式机器学习,其中的参与方与中央服务器之间需要不断交换大量模型参数,而这造成了较大通信开销;同时,联邦学习越来越多地部署在通信带宽有限、电量有限的移动设备上,而有限的网络带宽和激增的客户端数量会使通信瓶颈加剧。针对联邦学习的通信瓶颈问题,首先分析联邦学习的基本工作流程;然后从方法论的角度出发,详细介绍基于降低模型更新频率、模型压缩、客户端选择的三类主流方法和模型划分等特殊方法,并对具体优化方案进行深入的对比分析;最后,对联邦学习通信开销技术研究的发展趋势进行了总结和展望。

摘要： 利用卷积神经网络对物体进行目标检测,准确度可获得较大幅度提升,因此研究如何有效利用卷积神经网络进行目标检测具有重要价值。知识蒸馏是模型压缩与加速的代表类型,可将大网络学到的知识传递给小网络,使小网络获得接近大网络的精度。首先,论述目标检测研究前景及现阶段遇到的一些困难,探讨基于知识蒸馏方法解决该问题的可能性,引入知识蒸馏方法不仅可以简化网络,而且能节省计算能力及资源空间;其次,分别介绍知识蒸馏的基本结构、研究过程与进展;最后,对典型的目标检测算法进行对比,并分析不同蒸馏算法改进后的效果。

摘要： 现有基于深度学习的种子分级分选方法已取得了理想的识别效果,但由于分选方法的性能依赖于模型的宽度和深度,导致模型参数量显著增加,使其难以部署在实际应用中资源受限的边缘设备上。为此,提出了一种通道和卷积层联合剪枝的深度模型压缩方法,在通道剪枝阶段,将稀疏正则化训练的BN层参数作为衡量通道重要性的指标,在不损失模型精度的前提下,实现最大限度的通道剪枝压缩。然后提出基于线性探针的层剪枝方法,在压缩模型的同时减少内存访问,从而提升模型推理速度。最后采用知识蒸馏技术对剪枝网络进行知识迁移,补偿网络因剪枝而造成的精度损失。结果表明,在红芸豆和玉米种子数据集上所提出的方法使模型计算量减少86.55%和91.55%情况下,分别实现了实际推理速度2.1倍和2.8倍的提升,且仍保持较好的识别准确度(97.38%和96.56%),为模型在实际种子分选系统的部署提供技术支撑。

摘要： 在嵌入式设备上进行目标检测时易受能耗和功耗等限制,使得传统目标检测算法效果不佳。为此,对YOLOv4算法进行优化,设计YOLOv4-Mini网络结构,将其特征提取网络由CSPDarkNet53改为MobileNetv3-large并进行INT8量化处理,其中网络结构利用PW和DW卷积操作代替传统卷积操作以大幅减少计算量。采用SE模块为通道施加注意力机制,激活函数层运用h-swish非线性激活函数,在保证精度的情况下降低网络计算量。同时,通过量化感知训练将权重转为INT8类型,以实现模型轻量化,进一步降低网络参数量和计算量,从而在嵌入式设备上完成无人机数据集的目标检测任务。在NVIDIA Jetson Xavier NX设备上进行测试,结果显示,YOLOv4-MobileNetv3网络的mAP为34.3%,FPS为30,YOLOv4-Mini网络的mAP为32.5%,FPS为73,表明YOLOv4-Mini网络能够在低功耗、低能耗的嵌入式设备上完成目标实时检测任务。

摘要： 目前,利用机器视觉进行小麦生育进程监测主要是通过人工来进行特征提取,存在客观性差、效率低等问题,为了解决该问题,把深度学习引入到小麦生育进程监测研究中。卷积神经网络作为深度学习中常用的算法被广泛应用于图像分类任务中,使用深层的特征提取网络能够自动识别和提取图像特征,但常规深度卷积网络带来的大量参数和计算开销使这些算法难以应用到对存储空间和参数量有一定限制的嵌入式设备中。为此提出将知识蒸馏方法用于目标检测网络的特征提取网络,以提升浅层特征提取网络的性能,在降低模型的计算量和模型大小的同时尽可能地保证识别结果的准确性。通过使用ResNet50、VGG-16这2个不同教师网络分别指导学生模型MobileNet进行训练,试验结果表明,当ResNet50作为教师模型、MobileNet作为学生模型时识别效果最好,学生模型MobileNet的平均识别准确率达到了97.3%,模型大小压缩为仅19.7 MB,相比于ResNet50缩小了88.9%,通过知识蒸馏的方法,使得到的模型能够在提高准确率的情况下还能减少网络模型的参数量和模型运行时间的消耗,大幅降低部署模型的成本,可以为田间小麦智慧化生产提供技术支撑。

摘要： 深度卷积神经网络(CNN)模型中卷积层和全连接层包含大量卷积操作,导致网络规模、参数量和计算量大幅增加,部署于CPU/GPU平台时存在并行计算性能差和不适用于移动设备环境的问题,需要对卷积参数做量化处理并结合硬件进行加速设计。现场可编程门阵列(FPGA)可满足CNN并行计算和低功耗的需求,并具有高度的灵活性,因此,基于FPGA设计CNN量化方法及其加速系统。提出一种通用的动态定点量化方法,同时对网络的各个层级进行不同精度的量化,以减少网络准确率损失和网络参数的存储需求。在此基础上,针对量化后的CNN设计专用加速器及其片上系统,加速网络的前向推理计算。使用ImageNet ILSVRC2012数据集,基于VGG-16与ResNet-50网络对所设计的量化方法和加速系统进行性能验证。实验结果显示,量化后VGG-16与ResNet-50的网络规模仅为原来的13.8%和24.8%,而Top-1准确率损失均在1%以内,表明量化方法效果显著,同时,加速系统在运行VGG-16时,加速效果优于其他3种FPGA实现的加速系统,峰值性能达到614.4 GOPs,最高提升4.5倍,能耗比达到113.99 GOPs/W,最高提升4.7倍。

摘要： 针对大体量项目建设周期长、规模大,设计产生模型体量大和种类繁多,传统的数据交换传输方式都存在各自无可避免的缺点,需要占用较大硬件资源的局面,从数据存储优化、模型压缩、模型显示优化显示3个方面介绍模型轻量化关键技术。研究表明,基于三角网格存储、Zstd压缩算法、网格局部重建显示优化可在保留三维模型基本信息及精度的前提下,将其进行高效的轻量化处理,为基于BIM平台的大体量总包项目模型轻量化提供技术参考和实践经验。

摘要： 本文主要介绍Guyan压缩法,动态压缩法,IRS压缩法,SEREP法的基本原理,它们的优缺点也将被讨论,这些压缩方法也可以应用于大型复杂结构的模型压缩，以实现快速计算该结构的固有频率和振型。

摘要： 神经机器翻译(NMT)模型通常具有庞大的参数量,例如Transformer在词表设为3万时有将近1亿的神经元,模型的参数量越大,模型越难优化且存储模型的资源需求也越高.本文提出了一种压缩方法用于将复杂且参数量大的NMT模型压缩为精简参数量小的NMT模型.本文提出半知识蒸馏方法和递进式半知识蒸馏方法,其中半知识蒸馏是从参数多、性能好的教师模型中获取半部分的权重作为精简、参数少的学生模型训练的起点;递进式半知识蒸馏方法指运用过一次半知识蒸馏方法压缩以后,再把当前的半知识蒸馏压缩的模型作为新的教师模型,再次运用半知识蒸馏方法得到全压缩模型.在广泛使用的中英和日英数据集上进行实验,结果表明本文方法对NMT系统有积极影响.本文提出的方法的最佳性能明显优于基准模型2.16个BLEU值.与词级别和句子级别的传统知识蒸馏方法相比,本文提出的方法比词级别知识蒸馏方法优于1.15个BLEU值,并且高于句子级别的知识蒸馏方法0.32个BLEU值.

摘要： 在语音识别的HMM模型中对高斯分量进行共享(高斯绑定)是模型压缩中的重要技术，现有基于均匀分配的高斯绑定技术，不能有效地利用高斯，容易造成冗余。本文提出了基于非均匀分配的高斯绑定技术，给出了分别在最大似然准则、最小KLD准则和最大BIC准则下高斯成份数目的非均匀分配方法，在WSJ0数据库上进行实验，结果表明，该技术能够在模型总高斯数相同的条件下，与现有的基于均匀分配的高斯绑定技术相比，可以进一步提升系统的性能，在最好的情况下，词错误率相对下降7.84％。

摘要： 面向未来大型电力信息化系统的建设需求,常态化深度学习算法逐步出现了计算开销不足的问题,深度学习虽然具备了复杂问题计算的解决能力,但同时也加重了系统计算开销的负担,因此要在业务突发扩展的形势下综合考虑算力系统瘦身的问题.在不影响业务计算结果的前提下,从计算系统结构、算法融合本体及算法参数矩阵三个方面提出了裁剪和压缩方法,理论上证明了该文设计的几种方法在信息化系统的局部应用中均具有一定的有效性.

摘要： 面向未来大型电力信息化系统的建设需求,常态化深度学习算法逐步出现了计算开销不足的问题,深度学习虽然具备了复杂问题计算的解决能力,但同时也加重了系统计算开销的负担,因此要在业务突发扩展的形势下综合考虑算力系统瘦身的问题.在不影响业务计算结果的前提下,从计算系统结构、算法融合本体及算法参数矩阵三个方面提出了裁剪和压缩方法,理论上证明了该文设计的几种方法在信息化系统的局部应用中均具有一定的有效性.

摘要： 面向未来大型电力信息化系统的建设需求,常态化深度学习算法逐步出现了计算开销不足的问题,深度学习虽然具备了复杂问题计算的解决能力,但同时也加重了系统计算开销的负担,因此要在业务突发扩展的形势下综合考虑算力系统瘦身的问题.在不影响业务计算结果的前提下,从计算系统结构、算法融合本体及算法参数矩阵三个方面提出了裁剪和压缩方法,理论上证明了该文设计的几种方法在信息化系统的局部应用中均具有一定的有效性.

摘要： 面向未来大型电力信息化系统的建设需求,常态化深度学习算法逐步出现了计算开销不足的问题,深度学习虽然具备了复杂问题计算的解决能力,但同时也加重了系统计算开销的负担,因此要在业务突发扩展的形势下综合考虑算力系统瘦身的问题.在不影响业务计算结果的前提下,从计算系统结构、算法融合本体及算法参数矩阵三个方面提出了裁剪和压缩方法,理论上证明了该文设计的几种方法在信息化系统的局部应用中均具有一定的有效性.

摘要： 本申请实施例公开了一种压缩和解压缩神经网络模型的方法及设备，用于降低神经网络模型对存储资源的占用。本申请实施例方法包括：获取M个待压缩数据集合，每个待压缩数据集合中包含神经网络模型的至少一个参数的实际值，M为大于1的整数；根据M个不同的目标压缩参数对M个待压缩数据集合中各参数的实际值进行压缩，以得到M个压缩数据集合，每个压缩数据集合中包含神经网络模型的至少一个参数的压缩值，M个不同的目标压缩参数与M个待压缩数据集合一一对应。

摘要： 一种多速率神经图像压缩方法，由至少一个处理器执行，并且包括：基于第一超参数选择编码掩码，以及执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一已掩模权重。该方法还包括：使用第一已掩模权重对输入图像进行编码，以获得已编码表示，以及对所获得的已编码表示进行编码，以获得已压缩表示。

摘要： 本申请公开了一种机器学习模型的压缩方法、压缩装置和可读存储介质，该机器学习模型的压缩方法包括：获取机器学习模型的多个权重数据；对多个权重数据进行等间隔划分，得到至少两个权重划分区间；统计每个权重划分区间中的权重数据的数量；对每个权重划分区间对应的权重数据的数量进行调整，得到权重划分区间对应的校准数量数据；基于每个权重划分区间对应的校准数量数据，对多个权重数据重新进行划分，得到至少两个权重量化区间；对权重量化区间中的权重数据进行量化处理，以使量化后的所有权重数据的比特数之和小于量化前的所有权重数据的比特数之和。通过上述方式，本申请能够提升压缩效率与精度。

摘要： 本说明书提供图像压缩模型的训练方法及装置、图像压缩方法及装置，其中所述图像压缩模型的训练方法包括：获取样本图像、目标码率参数和目标全连接参数；将所述样本图像、所述目标码率参数和所述目标全连接参数输入至待训练的图像压缩模型，获得所述样本图像对应的目标图像；根据所述样本图像和所述目标图像计算损失值；根据所述损失值训练所述图像压缩模型，直至达到训练停止条件，本说明书提供的图像压缩模型的训练方法通过目标码率参数和目标全连接参数对图像压缩模型进行训练，节省训练时间、提高算法训练的鲁棒性。

摘要： 本发明涉及一种基于模型分割压缩自编码器的图像压缩算法包括：图像数据集的获取、数据集的预处理、构建MS‑CAE网络模型、MS‑CAE网络模型的训练。MS‑CAE网络模型包括：编码网络和解码网络；所述编码网络及其权值参数部署在边缘设备，用于对输入的像素块进行压缩；所述解码网络及其权值参数部署在云端设备，用于获取压缩后的像素块，对其进行升维，得到升维后的像素块；将所述升维后的像素块进行拼接，重构处完整的图像。本发明针对传感网络节点和云端的计算资源特眯，优化了图像压缩模型的模型复杂度和重构图像质量，获得了良好的效果。

摘要： 本公开实施例提出了一种用于卷积神经网络模型的压缩方法以及压缩装置，其包括以下步骤：构建卷积神经网络模型，所述卷积神经网络模型至少包括多层设置的一维卷积层；对所述卷积神经网络模型进行训练；针对完成训练的所述卷积神经网络模型中的所述一维卷积层中不同层的卷积核过滤器按照预定顺序进行剪枝操作。本公开实施例采用基于度量的剪枝操作来实现对于卷积神经网络模型的压缩，从而减少卷积神经网络模型的冗余，避免因为剪枝造成模型精度的降低，使得卷积神经网络模型在具有较高的识别精度的同时，实现模型轻量化，便于向硬件设备移植。

摘要： 本公开涉及一种确定用于压缩信道状态信息的压缩模型的方法、装置及存储介质。方法包括：终端接收网络设备发送的模型信息，模型信息包括解压模型的第一模型参数，解压模型用于网络设备解压缩终端发送的信道状态信息；终端根据模型信息确定终端用于压缩信道状态信息的压缩模型。终端通过接受网络设备发送的模型信息，并根据模型信息得到用于压缩信道状态信息的压缩模型，由于该模型信息中包括网络设备的解压模型的第一模型参数，因此终端根据该第一模型参数，以及终端厂商或者芯片厂商的私有化数据就能够自行得到用于与网络设备的解压模型联合使用的压缩模型，而该过程中网络设备无需获知终端部署的压缩模型的参数，从而保证了压缩模型的私有化。

摘要： 本申请涉及神经网络架构搜索领域，特别涉及一种模型压缩方法、模型压缩系统、服务器及存储介质。本申请的模型压缩方法包括：接收候选模型；对候选模型进行神经网络架构搜索，得到多个变换模型；对候选模型进行算力压缩得到压缩模型；将变换模型、压缩模型作为候选模型，重新进行神经网络架构搜索和算力压缩。本申请将模型压缩与神经网络架构搜索相结合，通过不断地轮询，在轮询到一定程度之后，可以获得精确度较高的压缩模型，从而兼顾获取压缩模型的准确率，且整个模型压缩过程减少了人工参与，降低人工成本。

摘要： 本发明提供一种模型压缩方法以及模型压缩系统，该方法包含：针对具有一深度神经网络架构的一原始模型来进行一模型剪枝操作，以产生一压缩后模型；将同一测试数据分别输入至该原始模型以及该压缩后模型；计算该原始模型处理该测试数据所得到的一第一输出数据以及该压缩后模型处理该测试数据所得到的一第二输出数据之间的相似度；以及以该相似度作为奖励，通过强化学习来判断如何进一步调整该模型剪枝操作。由此，可减少数据标记的成本与时间。

摘要： 本发明公开了一种基于知识聚合与解耦蒸馏的语义分割模型压缩系统，包括学生模型、教师模型、特征层综合知识提取与编码模块、感知聚合模块、辅助预测器、标签解耦蒸馏模块。本发明还公开了一种基于上述系统的模型压缩方法，该方法通过特征层综合知识的提取与聚合策略，在蒸馏训练过程中，分别获得教师、学生模型的多种高维特征图及其聚合后的综合知识图；然后通过优化学生模型使其逼近教师的综合知识图，实现多种语义信息和上下文知识的蒸馏学习；构建辅助预测分支控制综合知识的聚合学习过程，并提供了轻量化的代理在线学习机制帮助学生模型学习；最后通过标签解耦蒸馏模块解耦教师‑学生模型输出端的软标签蒸馏和中间层的特征知识蒸馏。