梯度下降算法

摘要： 稀疏非负矩阵由于方便计算和存储的优点已被广泛关注.为了得到更稀疏的系数矩阵,在非负矩阵分解(NMF)模型上同时引入L_(1)和L_(1/2)正则项,提出一种新的稀疏NMF模型L_(1)-L_(1/2)-NMF,为快速求解L_(1)-L_(1/2)-NMF,提出梯度下降算法.进一步,基于交替非负最小二乘算法框架,利用KKT条件,提出块坐标下降算法.与梯度下降算法相比,块坐标下降算法得到的系数矩阵更稀疏.针对ORL、CBCL、Yale和Extended Yale 4个图像数据集的实验结果表明,块坐标下降算法和梯度下降算法得到的系数矩阵的稀疏性和相对误差优于其他稀疏NMF算法.

摘要： 人工设计的光子学器件在超分辨、生物传感、光通信等领域都取得了卓越的成就。传统光子学器件的设计往往是通过分析物理模型和建立数值模拟方法实现的,但是基于数值模拟方法的结构设计很大程度上依赖于经验模型,同时在结构优化的过程中需要计算大量的参数组合,因此通常只能在有限的参数空间得到次优的结果。光子学器件的逆向设计有效的解决了上述问题。逆向设计方法可以在更广阔的参数空间寻找最优结构分布,还可以设计人脑无法直观设计的不规则结构,这使得光子学器件的性能更接近极限。本文介绍了光子学器件逆向设计的常用方法及基于逆向设计的几个重要应用。逆向设计方法有望促进集成光学及光场调控领域的发展。

摘要： 梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.

摘要： 为改进灰色Markov装备维修器材需求预测模型在小样本条件下的预测效果与合理性,提出了基于梯度下降算法的灰色Markov模型。通过建立关于各时间节点拟合残差的二乘损失函数,运用梯度下降算法迭代得到灰色Markov模型最优转移概率强度和Kolmogorov方程解的最优待定系数并实施预测。数值模拟与实例分析的结果表明,梯度下降灰色Markov模型可快速有效地搜索转移概率强度以及待定系数的相对优化值,进而改善模型的预测效果和稳定性。

摘要： 针对傅里叶变换红外光谱辐射计辐射定标需要黑体辐射面充满仪器视场的技术特点,分析了由于入射光子流较高导致红外探测器产生非线性响应误差的机理.通过仿真包含非线性误差的黑体辐射数据,研究了非线性误差对光谱产生的影响,并根据卷积和交叉迭代两种校正方法,提出了适合校正高阶非线性响应误差的迭代方法—梯度下降法.利用傅里叶变换红外光谱辐射计进行辐射定标实验,对比卷积、交叉迭代和梯度下降法三种校正方法的效果,结果显示三种校正方法均可有效减小非线性误差,分别使拟合优度提高了0.15％,0.29％和0.39％,梯度下降法校正后的光谱数据更为准确.

摘要： 针对标准长短期记忆(long short-term memory,LSTM)神经网络用于时间序列预测具有耗时长、复杂度高等问题,提出简化型LSTM神经网络并应用于时间序列预测.首先,通过耦合输入门与遗忘门实现对标准LSTM神经网络的结构简化;其次,从门结构控制方程中消除输入信号与偏差实现进一步精简;然后,采用梯度下降算法更新简化型LSTM神经网络的参数;最后,通过2个时间序列基准数据集及污水处理过程出水生化需氧量(biochemical oxygen demand,BOD)质量浓度预测进行实验验证.结果表明:在不显著降低预测精度的情况下,所设计的模型能够缩短训练时间,减少LSTM神经网络的计算复杂度,实现时间序列的预测.

摘要： 基于梯度下降法的RBF网络训练算法收敛速度较慢、易陷入局部最优,并且算法性能受初始值的影响较大.基于粒子群的RBF网络训练算法能够克服梯度下降法易陷入局部最优的缺点,但局部寻优能力不如梯度下降法.分析两种算法的优缺点,提出一种粒子群算法与梯度下降法结合的组合训练方法并用于RBF神经网络的训练.通过实验证明所提出的组合算法相较于梯度下降或粒子群优化算法有着更优的收敛速度与收敛精度.

摘要： 由于脉冲神经网络(Spike Neural Network,SNN)具有的时间特性使其比人工神经网络更容易发生梯度消失或梯度爆炸等问题,因此本文提出时域膜电位归一化方法.通过调整神经元膜电位的分布,减少网络内部的协变量移位,来保证训练深度脉冲神经网络的稳定.通过实验验证了本文方法的有效性,在CIFAR-10数据集上的识别精度达到了88.12％.

摘要： 在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的 .近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向.

摘要： 在天线设计过程中,通常需要耗费巨大的计算资源和时间成本,使用神经网络对天线进行建模可以大幅度提高设计效率.基于反向传播算法训练的神经网络有着容易陷入局部极小的问题.对此,本文提出一种梯度粒子群(GPSO)的混合算法对神经网结构参数进行初期优化,再用弹性反向传播算法(RP)进行细致的训练,并基于该方法对一个具有多个优化目标的E形宽带天线进行了建模和快速设计.仿真结果表明,所提出的方法相对于用单一的RP算法和PSO-RP算法训练的神经网络有更好的收敛性误差和泛化能力,对天线的高效精准设计具有一定价值.

摘要： 本文介绍了BP神经网络(BPNN)的结构模型及对神经网络进行训练和测试的有关概念,对BPNN向前传播及向后传播的数学原理进行了详细推导,对梯度下降算法进行了深入讨论.作为对BPNN的运用和检验,作者按照BPNN的原理编写了一款软件工具(BPNNsoft),并在MNIST数据集上进行训练和测试,论文最后对训练和测试情况进行了简要说明和分析.

摘要： 由于音乐情感本质的模糊性，采用模糊逻辑的方法进行音乐情感辨识具有显著的优势。本文提出一种基于条件概率的模糊分类方法，此方法的每一条模糊规则可以表示多种类别，并具有相应的条件概率值，同时采用机器学习的梯度下降算法对每条规则的高斯型隶属函数进行优化，以自动建立模糊分类器。最后将提出的分类方法应用于音乐情感的分类识别中，并与已有的分类器进行实验比较，评测了本文方法的准确性和有效性。

摘要： 通过对PaaS平台中应用对资源的需求进行准确的预测,可以有效的优化PaaS平台的资源配置,合理、有效的进行资源调度.为此,本文提出了一种基于时间序列的短期预测与周期性预测相结合的综合预测模型.该模型根据PaaS平台中应用对资源需求的周期性,对应用资源序列进行切分,在短期预测的基础上结合应用的多周期性特征,利用多元回归算法建立综合的预测模型.对比实验结果表明,本文提出的面向PaaS平台应用的预测方案具有更高的准确性与更好的稳定性.

摘要： 通过对PaaS平台中应用对资源的需求进行准确的预测,可以有效的优化PaaS平台的资源配置,合理、有效的进行资源调度.为此,本文提出了一种基于时间序列的短期预测与周期性预测相结合的综合预测模型.该模型根据PaaS平台中应用对资源需求的周期性,对应用资源序列进行切分,在短期预测的基础上结合应用的多周期性特征,利用多元回归算法建立综合的预测模型.对比实验结果表明,本文提出的面向PaaS平台应用的预测方案具有更高的准确性与更好的稳定性.

摘要： 通过对PaaS平台中应用对资源的需求进行准确的预测,可以有效的优化PaaS平台的资源配置,合理、有效的进行资源调度.为此,本文提出了一种基于时间序列的短期预测与周期性预测相结合的综合预测模型.该模型根据PaaS平台中应用对资源需求的周期性,对应用资源序列进行切分,在短期预测的基础上结合应用的多周期性特征,利用多元回归算法建立综合的预测模型.对比实验结果表明,本文提出的面向PaaS平台应用的预测方案具有更高的准确性与更好的稳定性.

摘要： 通过对PaaS平台中应用对资源的需求进行准确的预测,可以有效的优化PaaS平台的资源配置,合理、有效的进行资源调度.为此,本文提出了一种基于时间序列的短期预测与周期性预测相结合的综合预测模型.该模型根据PaaS平台中应用对资源需求的周期性,对应用资源序列进行切分,在短期预测的基础上结合应用的多周期性特征,利用多元回归算法建立综合的预测模型.对比实验结果表明,本文提出的面向PaaS平台应用的预测方案具有更高的准确性与更好的稳定性.

摘要： 本发明提出一种基于随机梯度下降算法的曲面全息噪声抑制方法。该方法包括三个步骤：第一步，对于单个3D物体，将被记录物体分成不同的层面，利用角谱算法计算得到3D物体目标光场的复振幅分布；第二步，将初始曲面全息图的相位分布设置成随机相位，经过相位近似补偿后得到对应平面全息图的复振幅分布，在此基础上利用角谱算法得到重建像的复振幅分布；第三步，将重建像和目标光场的复振幅进行对比得到损失函数，利用随机梯度下降算法对曲面全息图的相位分布进行迭代优化，当满足循环输出条件时，便得到相位优化后的曲面全息图。当再现光照射相位优化后的曲面全息图时，则看到对应弯曲中心角度的全息再现像。

摘要： 本发明公开了一种基于梯度下降算法的全光逻辑异或门及其实现方法。本发明基于梯度下降算法的反向设计为实现的光子器件提供了一个通用的平台，利于实现纳米光子器件的设计与集成；全光逻辑器件是光子集成回路中的重要组成部分，基于线性光学原理实现的全光逻辑异或门具有超快和超低能耗的优势；在极小尺寸范围内实现了全光异或门，有利于实现超紧凑，高集成度的全光集成回路；降低了器件设计的时间，提高了器件的性能，丰富了器件可实现的功能，减小了器件的尺寸，有利于实现超快响应、超低能耗、高集成度的片上全光集成回路；基于反向设计实现的全光集成器件在先进光子电路、全光信息处理、光通信等领域具有广阔的应用前景。

摘要： 本发明公开了一种基于梯度下降算法的全光开关及其实现方法。本发明在梯度下降算法中引入了非线性的计算方法，利用三阶非线性光学克尔效应，通过信号光激发材料的三阶非线性光学响应来改变纳微光子结构材料的介电分布情况，在信号光作用下非线性材料折射率与强度有关，基于梯度下降算法的反向设计为实现的光子器件提供了一个通用的平台，利于实现纳米光子器件的设计与集成；而非线性算法的引入有利于更复杂功能器件的设计，拓宽了器件设计的思路，丰富了器件设计的功能；工艺优化算法的引入大大降低了器件优化的效率；基于反向设计实现的全光集成器件在先进光子电路、全光信息处理、光通信等领域具有广阔的应用前景。

摘要： 本发明公开了一种基于梯度下降算法的相控阵天线安装参数校准的方法，根据相控阵天线的数学模型，获取在校准点上计算得到的坐标与实际坐标的均方误差，并使用梯度下降法调节数学模型中所使用的天线安装参数使得均方误差达到最小，此时即可得到最优的安装参数值。本发明中的方法可以通过自动化程序实现，在施工现场选取若干校准点，将OBU放置在校准点上分别与天线交易，使用自动化工具即可计算出天线的安装参数，整体流程操作便捷，易于在施工现场使用。

摘要： 基于改进遗传算法的群粒子梯度下降算法，能快速准确地搜索到复杂函数条件下的全局最优解，群粒子梯度下降算法的步骤：生成初始种群是否满足终止条件、计算每个个体的适应度值；筛选遗传算子，梯度下降法作用每个个体生成新种群，计算每个个体的适应度值，交叉变异操作生成新种群；遗传算法的改进方法是：将种群内适应度值最大的前5个个体保留，剩余的新种群个体以轮盘选择法进行概率选择；将遗传算法的并行计算思想及进化机制引入梯度下降法中，即将原来单个点的寻优改为群体寻优，且不断有新的更接近最优解的种群同时沿着梯度方向寻找最优解。

摘要： 本发明公开一种基于随机批量梯度下降算法的储能管理方法及系统，涉及储能管理技术领域，其实现内容包括：收集历史用电量数据，取出连续四周的数据进行时间序列分解，得到每天的用电量波动周期、用电量变化趋势、用电量随机波动残差，同时，取出过去十周的用电量数据，根据一周七天划分为七组，进行时间序列分解，得到相同天的用电量波动周期、用电量变化趋势、用电量随机波动残差；收集历史发电量数据和天气数据，对发电量进行线性回归建模；结合得到的数据和模型、以及储电设备的剩余电量数据，给定t后带入代价函数中，使用随机批量梯度下降算法优化代价函数，以根据使用时段进行供电功率的最优选取。本发明可以实现统筹供电、削峰填谷。

摘要： 本发明提供一种基于梯度下降算法的变电站内干涉声场修正方法及系统，方法包括以下具体步骤：获取变电站内包括变电站主设备在内的每台设备的声源参数及几何尺寸；求取变电站噪声分布声场；将每台变电站主设备拟作球声源并单独计算每台变电站主设备的干涉辐射声场；采用相位匹配法校正其余设备的相位，单独计算每台设备的校正相位干涉声场；采用步骤d中获取的干涉声场，对步骤b中求取的变电站噪声分布声场使用梯度下降算法算法进行干涉修正，求取声场修正后的变电站厂界噪声。本发明有助于为变电站厂界噪声预测计算结果提供修正作用，并对于厂界噪声治理的达标有指导性意义。

摘要： 本发明提出一种基于非奇异梯度下降算法的区间二型模糊神经网络的出水总氮智能检测方法，实现了污水处理过程中出水总氮浓度的快速智能检测。针对污水处理过程具有机理复杂和高度非线性的特点，难以利用准确的数学模型进行表达，因此，本发明利用区间二型模糊神经网络表达污水处理过程。该方法通过提取与出水总氮相关的特征变量，利用一种非奇异的梯度下降算法对基于区间二型模糊神经网络的出水总氮智能检测模型的参数进行调整，实现出水总氮智能模型的设计，保证污水处理过程中出水总氮浓度的快速智能检测。

摘要： 本发明公开了一种基于索引表达式的梯度下降算法的建模方法，包括：基于预设的索引表达式，构建梯度下降谓词；根据梯度下降算法的预设精度，利用MSVL中的字符串对输入数据进行不同类型的运算，得到第一结果；读取数据集，并根据梯度下降谓词对多元线性回归模型进行训练，得到梯度下降的形式化模型；利用第一结果，对梯度下降的形式化模型的性质进行验证。本发明通过基于预设的索引表达式来构建梯度下降谓词，从而针对泰勒展开应用的形式化模型，可以对机器学习系统底层的安全性和可靠性进行验证分析。

摘要： 本发明提供一种基于随机事件触发随机梯度下降算法的通讯优化方法，适用于分布式机器学习训练过程，针对目前分布式机器学习训练中存在的高额通讯问题，所述方法过程包括随机触发机制设计、伯努利变量的概率分布，采用事件触发的方式来减少传输的次数，大幅度减少通讯开销。利用L2范数衡量两个梯度之间的距离，再利用指数函数将其转换为[0，1]区间的概率，并定义一个伯努利变量来指示每次触发结果的概率。在实际应用时，可利用在[0,1]区间均匀生成随机数作为阈值，用于刻画实际的概率比较。适用于当企业的数据存在污染时，能够增强该方法在实际应用中的泛化性能。