梯度下降

摘要： 为提高空中侦察取证的自动化、智能化水平,提出基于深度学习与FPGA软硬件协同设计开展空中侦察取证自动目标分类。多渠道收集整理军机数据集,利用深层神经网络模型开展自动识别,验证自动目标分类可行性,并部署至FPGA开发评估板进行准确率、吞吐量等性能验证。实验结果证明:多种网络模型均可有效实现空中侦察取证目标的自动分类,并具备较高的吞吐量与准确率,时效性可满足战场实际需要。

摘要： 获得精准的姿态角信息是四旋翼飞行器控制研究的关键。针对传统算法对四旋翼飞行器高速运动过程的姿态解算精度较低的问题,提出一种基于梯度下降的自适应变步长姿态融合算法。该算法可根据运动加速度的大小自适应地调整对加速度计测量数据的信任程度,从而提高姿态解算精度。实验结果表明,在解算姿态航向参考系统实验设备的偏航角时,自适应梯度下降算法的解算精度较传统互补滤波算法和梯度下降算法分别提高了0.557°和0.708°。

摘要： 在中国,彝文古籍文献日益流失而且损毁严重,由于通晓古彝文的研究人员缺乏,使得古籍恢复工作进展十分缓慢.人工智能在图像文本领域的应用,为古籍文献的自动修复提供可能.本文设计了一种双判别器生成对抗网络(Generative adversarial networks with dual discriminator,D2GAN),以还原古代彝族字符中的缺失部分.D2GAN是在深度卷积生成对抗网络的基础上,增加一个古彝文筛选判别器.通过三个阶段的训练来迭代地优化古彝文字符生成网络,以获得古彝文字符的文字生成器.根据筛选判别器的损失结果优化D2GAN模型,并使用生成的字符恢复古彝文中丢失的笔画.实验结果表明,在字符残缺低于1/3的情况下,本文提出的方法可使文字笔画的修复率达到77.3%,有效地加快了古彝文字符修复工作的进程.

摘要： 研究了一种基于数字图像连续表示的图像分割方法.首先根据机器学习模型的性质,将二维图像的分割问题转换为连续泛函的优化问题;其次利用数字图像的连续表示探讨连续泛函的数学表达式,使其能够表示基于深度学习的图像分割过程;接着通过建立连续泛函的约束条件,将优化问题转化为线性方程组求解的问题;最后利用梯度下降求解方程组,以实现复合绝缘子憎水性图像的分割.

摘要： 井斜角与方位角是井眼轨迹计算中的主要测量参数,然而与常规井斜时方位角误差相比,小角度井斜下测斜仪的方位角测量误差更大。为了提高测斜仪在小角度井斜下的方位角测量精度,基于BP神经网络算法对5°~10°小角度井斜下方位角的测量进行了补偿。文中以标准井斜角和实测方位角构成的二维向量作为输入,以标准方位角构成的一维向量作为输出,建立了双入单出网络模型。采用随机选取的方式将学习样本分为训练集与测试集,使网络具有较好的泛化能力。仿真测试结果表明,该BP神经网络误差校正模型运行稳定,补偿精度达到10^(-6),可将小角度井斜下方位角的测量精度从±5.3°提高至±1.7°以内。

摘要： 针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法。介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法。使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响。在三个数据集上使用动量分数阶梯度下降算法与传统梯度下降算法、动量梯度下降算法作对比实验,实验数据表明,动量分数阶梯度下降算法可以在不同复杂程度的数据集上,在保证较高分类准确率的前提下,极大提高卷积神经网络的收敛速度,为训练卷积神经网络节省大量时间成本。

摘要： 针对现有联邦学习同步更新模型不易实现,以及客户端数据分布差异较大时服务器集中融合客户端模型将带来负效应,导致全局模型性能较差的问题,提出了一种基于移动式服务器的联邦学习框架。首先在客户端使用梯度下降法,在服务器则基于模型知识迁移提出移动式联邦融合算法,实现移动异步更新。其次基于移动式服务器的联邦学习框架构建个性化联邦学习机制,解决非独立同分布(non independent and identically distributed,Non-IID)设置时客户端本地模型分类性能较低的问题。最后在3种基准数据集上进行仿真验证,结果表明,与现有方法对比,所提算法实现全局模型分类的精度及所需的通信轮数均优于基线方法。

摘要： 针对电力调度机构对短期负荷预测的精度日益提高的问题,文中应用BP神经网络算法对电力负荷进行了短期预测,该方法模拟了人类大脑神经的功能,对收集到的样本数据进行处理和储存。在已经建立完成的负荷预测模型的基础上,分别收集预测区域的温度、气象等相关数据信息,进而确定所需训练的样本;对上述数据进行归一化处理,经过神经网络正向与反向传递得到期望值;应用BP神经网络算法优化实现了负荷预测模型,以某区域典型日负荷曲线为例进行实验测试,预测数值分析比对结果验证了所提算法的有效性和精确度。

摘要： 为了减小线损所带来的风险,采用梯度算法,构建电网台区线损状态自动识别模型。架构用于描述电网台区系统的无向连通图,近似描述母线线损率,根据最优化问题的强对偶性,推导出对偶优化问题,完成梯度计算。依据对应台区与电力数据服务器,提取状态异常线损相应台区特征,构建指标体系,经过聚类分析线损状态异常的电网台区,挖掘有效规则,令各类聚类分析输出分群结果与线损状态异常诱因相互对应,更新模型参数后,完成线损状态自动识别模型的建立。实验结果表明,本文构建模型具有较高的有效性与精准度,具有优越的应用性能。

摘要： 提前获悉申请职位的录用结果,对求职者而言,可以合理地规划工作安排,有效减少时间成本。利用线性回归算法,通过对某公司招聘历史数据的学习,使得生成的算法模型可以根据某人入职考核成绩,比较合理地给出录用结果,在某公司Offer申请结果预测任务中具有一定的实用价值。

摘要： 量子神经网络是一种借鉴量子理论中的态叠加思想而设计的单隐层前馈神经网络,其主要用于数据分类。由于采用多层激励函数神经元,并且在量子间隔训练中采用了新的目标函数,即同类输入数据的隐层节点输出方差最小,从而使量子神经网络具备了发掘不同类别数据间模糊性的能力。但由于训练时对量子神经网络权值和量子间隔使用了不同的目标函数,使迭代过程中两者不可避免的会出现相互冲突,从而导致训练迭代次数的增加和网络性能的下降。本文借鉴约束优化理论,在两个目标函数的梯度下降求解中引入了惩罚函数,提出了一种新的量子神经网络训练算法,消除了两个目标函数间的冲突。实验结果表明,本文提出的训练算法可以显著提升训练的速度和网络的性能。

摘要： 针对训练模式类标签不精确的识别问题,提出了基于可传递信度模型(TBM)的自适应k-NN分类器,它通过运用pignistic变换,可以方便地对待识别模式真正所属的类做出决策,并通过梯度下降来最小化训练模式的输出类标签与目标类标签之间的误差函数,以实现参数的自适应学习.实验表明,该分类器用于处理训练模式类标签不精确的模式识别问题是有效的,且与参数优化前的基于TBM的k-NN分类器相比,其误分类率更低、鲁棒性更强.

摘要： 量子粒子群优化算法(QPSO)是一种基于群体的随机优化技术。与标准的粒子群优化算法(PSO)相比,QPSO更具全局搜索能力并具有较少的控制参数等优点。本文以QPSO技术取代传统BP神经网络学习算法中的梯度下降法,使改进后的神经网络具有良好的全局收敛性。将改进后的学习算法应用于人脸检测,实验结果表明该算法在此应用上是有效的。

摘要： 该文首先对模糊系统的两类主要的学习算法－梯度下降法和遗传算法，进行了深入分析。然后，在此基础上提出了一种针对半梯形和三角形隶属函数的保证隶属度函数ε－完备性和模糊集语义一致性的方法。并基于上述方法实现了一种新的基于遗传算法并利用梯度下降的快速模糊系统学习算法。最后通过实例进行了模拟，验证了该方法的高效性，以及保证隶属度函数完备性和模糊集合语义一致性的优点。

摘要： 维度语音情感识别(Dim-SER)是情感计算领域的一个新兴分支,它从多维、连续的角度看待情感,将SER问题建模为连续值的预测回归任务。当前的Dim-SER系统在进行情感预测时缺少对语料间情感程度相对顺序的考虑,严重影响了人机交互系统对说话人情感变化趋势的把握。从该需求出发,本文以人类情感认知特性为参照,构建了一个对情感程度相对顺序敏感的Dim-SER系统,并引入Gamma统计对SER系统性能评价标准加以完善。系统构建过程中,本文构造了Top-rank概率分布对语料间的情感顺序进行描述,并使用Kullback-Leibler距离对预测造成的顺序一致性损失进行度量,最后提出顺序敏感的神经网络算法实现系统预测损失的最小化。情感预测实验结果表明,同常用的k近邻算法和支持向量回归算法相比,该系统有效地提高了语料间情感程度相对顺序的正确性。

摘要： 维度语音情感识别(Dim-SER)是情感计算领域的一个新兴分支,它从多维、连续的角度看待情感,将SER问题建模为连续值的预测回归任务。当前的Dim-SER系统在进行情感预测时缺少对语料间情感程度相对顺序的考虑,严重影响了人机交互系统对说话人情感变化趋势的把握。从该需求出发,本文以人类情感认知特性为参照,构建了一个对情感程度相对顺序敏感的Dim-SER系统,并引入Gamma统计对SER系统性能评价标准加以完善。系统构建过程中,本文构造了Top-rank概率分布对语料间的情感顺序进行描述,并使用Kullback-Leibler距离对预测造成的顺序一致性损失进行度量,最后提出顺序敏感的神经网络算法实现系统预测损失的最小化。情感预测实验结果表明,同常用的k近邻算法和支持向量回归算法相比,该系统有效地提高了语料间情感程度相对顺序的正确性。

摘要： 维度语音情感识别(Dim-SER)是情感计算领域的一个新兴分支,它从多维、连续的角度看待情感,将SER问题建模为连续值的预测回归任务。当前的Dim-SER系统在进行情感预测时缺少对语料间情感程度相对顺序的考虑,严重影响了人机交互系统对说话人情感变化趋势的把握。从该需求出发,本文以人类情感认知特性为参照,构建了一个对情感程度相对顺序敏感的Dim-SER系统,并引入Gamma统计对SER系统性能评价标准加以完善。系统构建过程中,本文构造了Top-rank概率分布对语料间的情感顺序进行描述,并使用Kullback-Leibler距离对预测造成的顺序一致性损失进行度量,最后提出顺序敏感的神经网络算法实现系统预测损失的最小化。情感预测实验结果表明,同常用的k近邻算法和支持向量回归算法相比,该系统有效地提高了语料间情感程度相对顺序的正确性。

摘要： 维度语音情感识别(Dim-SER)是情感计算领域的一个新兴分支,它从多维、连续的角度看待情感,将SER问题建模为连续值的预测回归任务。当前的Dim-SER系统在进行情感预测时缺少对语料间情感程度相对顺序的考虑,严重影响了人机交互系统对说话人情感变化趋势的把握。从该需求出发,本文以人类情感认知特性为参照,构建了一个对情感程度相对顺序敏感的Dim-SER系统,并引入Gamma统计对SER系统性能评价标准加以完善。系统构建过程中,本文构造了Top-rank概率分布对语料间的情感顺序进行描述,并使用Kullback-Leibler距离对预测造成的顺序一致性损失进行度量,最后提出顺序敏感的神经网络算法实现系统预测损失的最小化。情感预测实验结果表明,同常用的k近邻算法和支持向量回归算法相比,该系统有效地提高了语料间情感程度相对顺序的正确性。

摘要： 维度语音情感识别(Dim-SER)是情感计算领域的一个新兴分支,它从多维、连续的角度看待情感,将SER问题建模为连续值的预测回归任务。当前的Dim-SER系统在进行情感预测时缺少对语料间情感程度相对顺序的考虑,严重影响了人机交互系统对说话人情感变化趋势的把握。从该需求出发,本文以人类情感认知特性为参照,构建了一个对情感程度相对顺序敏感的Dim-SER系统,并引入Gamma统计对SER系统性能评价标准加以完善。系统构建过程中,本文构造了Top-rank概率分布对语料间的情感顺序进行描述,并使用Kullback-Leibler距离对预测造成的顺序一致性损失进行度量,最后提出顺序敏感的神经网络算法实现系统预测损失的最小化。情感预测实验结果表明,同常用的k近邻算法和支持向量回归算法相比,该系统有效地提高了语料间情感程度相对顺序的正确性。

摘要： 在加入二次动量项的BP网络的基础上，本文提出了一种改进的设定二次动量因子的方法。该方法充分发挥一次动量项的优势，并根据训练过程中BP网络在误差曲面上的不同情况，改变二次动量因子的正负号。文文利用异或、3比特偶校验和函数逼近三个基准问题，对于新型BP网络进行了仿真实验。实验结果验证了采用新方法的BP网络具有更快的训练速度和更好的训练效果。

摘要： 一种在多个计算节点上分布式训练机器学习模型的系统，包括：服务器，与多个计算节点连接，用于在多轮训练迭代中控制机器学习模型的训练。每轮训练迭代包括：指示每个计算节点通过如下方式对所述机器学习模型的相应本地副本进行训练：本地计算多个累积梯度中的相应累积梯度，每个累积梯度包括一个或多个梯度；从每个计算节点获取所述累积梯度；通过将所述机器学习模型与所述累积梯度的汇总值合并来创建更新的机器学习模型。其中，在获取和创建阶段，所述计算节点中的一个或多个计算节点计算新的相应累积梯度，所述新的相应累积梯度在下一轮训练迭代中与所述机器学习模型合并。

摘要： 在保持精度的状态下高速地进行秘密计算上的梯度下降法的计算。秘密梯度下降法计算方法在将梯度和参数隐匿的状态下对梯度下降法进行计算。初始化部将矩阵M、V的隐匿值[M]、[V]初始化(S11)。梯度计算部求出梯度g的矩阵G的隐匿值[G](S12)。参数更新部计算[M]←β1[M]+(1‑β1)[G](S13‑1)，计算[V]←β2[V]+(1‑β2)[G]○[G](S13‑2)，计算[M^]←β^1，t[M](S13‑3)，计算[V^]←β^2，t[V](S13‑4)，计算[G^]←Adam([V^])(S13‑5)，计算[G^]←[G^]○[M^](S13‑6)，并计算[W]←[W]‑[G^](S13‑7)。

摘要： 基于随机加速梯度下降的半联邦学习方法及装置，该方法利用设备数据和开源数据获得预设规模的独立同分布数据子集；进行梯度预训练，通过SAGDFL和规则I训练得到全局梯度；通过SAGDFL在设备和服务器之间执行联邦学习，服务器识别参加训练的设备组，将模型和全局梯度发送给设备组中的设备进行SAGDFL处理；将每个设备生成的数据和局部梯度上传到服务器，聚合生成新的模型和新的全局梯度。本申请通过随机加速梯度下降策略减少局部和全局梯度方差；可以大大缩短训练迭代，保证模型推理精度；确保隐私泄露风险可控；使额外的通信开销最小化，使模型参数变得稀疏，易于将传输的数据进行压缩，降低通信成本。

摘要： 一种基于改进梯度下降方法的储能电量管理系统，将其用在储能电量管理系统，进行实时数据收集和周期性离线训练和模型迭代更新。能在IOT的边缘嵌入式设备上用微控制器（MCU）通过减少梯度下降的计算消耗，对梯度下降方法进行改进，并结合数据块方法进行数据流生成，从而在端侧离线训练一个电量管理模型进行储能设备的用电量估计和调控。该系统能耗需求低，计算量和内存需求少，原始数据不传输不外流，模型迭代及时，推理速度快，因此适用于对广泛的储能系统的IoT设备进行端侧的离线人工智能模型训练和迭代。

摘要： 本发明公开了一种基于在线梯度下降法的永磁同步电机最优效率控制方法，属于电机控制领域。本发明将电机效率作为目标函数，将电流相角作为自变量，在电机运行过程中，根据效率的变化实时更新电流相角，从而在每一个稳态运行点都能达到效率最优的状态，能够实现在线自动寻找效率最优点。本发明提出的方法仅需实时采集电机运行过程中的电压和电流，即可实现最优效率控制，对电机参数没有依赖性，具有很好的可迁移性优势。

摘要： 本发明公开一种基于随机批量梯度下降算法的储能管理方法及系统，涉及储能管理技术领域，其实现内容包括：收集历史用电量数据，取出连续四周的数据进行时间序列分解，得到每天的用电量波动周期、用电量变化趋势、用电量随机波动残差，同时，取出过去十周的用电量数据，根据一周七天划分为七组，进行时间序列分解，得到相同天的用电量波动周期、用电量变化趋势、用电量随机波动残差；收集历史发电量数据和天气数据，对发电量进行线性回归建模；结合得到的数据和模型、以及储电设备的剩余电量数据，给定t后带入代价函数中，使用随机批量梯度下降算法优化代价函数，以根据使用时段进行供电功率的最优选取。本发明可以实现统筹供电、削峰填谷。

摘要： 本发明公开一种基于多点并行随机梯度下降的PID控制器参数自动整定方法，解决了智能优化算法在PID参数整定中出现的局部收敛和资源消耗大的不足，通过预先生成取样点集，匹配与取样点集对应的PID参数初始值并赋值给PID控制器实时获取输出曲线，设置评价指标判断输出曲线性能，不满足则基于双边扰动随机并行梯度下降算法对PID参数初始值做迭代优化处理，并将满足性能的点作为候选点，比较其他点参数的输出曲线，选取最优候选点，并结束多点并行随机梯度下降算法，在三阶线性模型下通过与遗传算法和粒子群算法的比较，验证多点随机并行梯度下降算法在PID参数整定的可行性和优越性，为PID参数自动整定提供新的、高效的算法。

摘要： 本发明公开了一种基于Adam的迭代快速梯度下降对抗攻击方法，设置用于对抗攻击的基于深度神经网络的图像分类模型及其他对抗攻击参数，然后初始化迭代参数，在每次迭代时，将当前图像输入图像分类模型得到其分类结果，计算本次图像分类的损失函数梯度，根据该损失函数梯度对梯度均值和梯度方差进行更新，对梯度均值和梯度方差修正后更新每幅图像，如此循环直至达到最大迭代次数，将最后一次迭代得到的图像作为对抗样本。本发明引入Adam算法对I‑FGSM算法进行改进，能够在缩短训练时间的同时，提升生成对抗样本的迁移性和攻击成功率。

摘要： 本发明公开了一种基于变分数阶随机梯度下降法的BP神经网络优化方法，包括以下步骤：步骤一、初始化神经网络拓扑结构：步骤二、初始化模型参数：步骤三、前向传播：步骤三、前向传播：步骤五、反向传播：步骤六、变分数阶随机梯度下降，步骤七、判断是否满足结束条件。本发明充分利用了迭代积分下限和截断高阶项的分数阶微分在不同阶数下的优点收敛特性，在初始训练时使用较高的分数阶阶次，提高学习速度，随着训练的进行，阶次迅速降低，在靠近极值点时会有更稳定的收敛过程，提高了BP神经网络在图像处理中训练数据集的学习速度和精确度。

摘要： 本发明公开了一种梯度下降散斑照明超分辨目标重建方法，可用于散斑照明超分辨成像系统中高分辨目标及散斑的重建。该方法实现步骤为：利用散斑照明超分辨成像系统获取原始图像；设计正则化的代价函数；求解正则化的代价函数的梯度；依据代价函数梯度更新目标及散斑；迭代收敛之后得到高分辨的重建目标及散斑。本发明和现有技术相比的有益效果在于：使用了正则化的代价函数，加快了算法重建速度，减少了目标重建所需图像帧数。