长短时记忆

摘要： 随着大型旋转机械设备的广泛应用,高速旋转机械的故障诊断得到越来越多的关注。旋转机械的周期旋转特性导致信号间存在很强的时序关联关系,当故障发生时,故障特性会在旋转周期间逐渐传递。该研究分析滚动轴承不同类型故障、不同损伤程度振动信号时序相关特性的差异度,提出了周期记忆神经网络(periodization long short-term memory,P-LSTM)故障诊断方法。该方法首先提取旋转机械周期内数据特征,并利用记忆因子对特性在周期间的传递规律进行选择性遗忘,学习其周期间的时序相关特征,从而实现滚动轴承的故障诊断。最后利用滚动轴承多类故障数据对所提出方法进行性能分析和试验,验证了P-LSTM方法学习旋转机械周期间的时序相关特性的有效性,以及进行故障诊断的准确度。

摘要： 诊断抑郁症的传统方法是通过面对面的评估和交谈。但是,许多患有抑郁症的患者不愿意在早期阶段就医,从而使病情恶化。为了在早期判断抑郁症患者的情况,提出一种利用社交媒体文本信息的时间序列特征和多示例学习的检测模型,考虑到抑郁症状不会立即出现,所以时序样本的使用显得非常重要,因此使用无监督LSTM提取时间序列特征,训练分类器实现二值分类,并使用多示例学习模型来解决不平衡样本问题。首先采用朴素贝叶斯分类器、随机森林、多元社会网络学习和多式抑郁词典学习作为基准,随后利用具有无监督LSTM时间序列功能的多示例学习来更准确地检测抑郁症。在MDDL数据集的基础上,整理出200个调查对象合计7946条推文信息,并按照训练测试比为8:2的实验得到结果如下:在准确率、精度,召回率和F1得分上分别达到75.0%、76.0%、73.0%、74.5%。结果表明,通过社交媒体中的文本数据,采用机器学习进行早期抑郁症检测是可行的。此外,通过大量的消融实验也证实,采用时间序列特征的方法要比传统的基准模型方法能够获得更好的性能。

摘要： 针对电力负荷序列非线性、随机性等特点引起的电力负荷预测精度低问题,提出一种基于快速傅里叶变换(FFT)、密度层次聚类算法(DC-HC)与长短时记忆(LSTM)神经网络相结合的短期负荷预测方法。首先,采用FFT计算出所有原始电力负荷序列对应的期望频率,并以之作为负荷聚类的特征量。然后采用DC-HC算法对负荷进行聚类,将原始数据分拆成具有特征属性的数据分量组;运用LSTM模型对各分量组进行负荷预测,再将各分量组预测结果进行叠加,得到最终负荷预测值;最后,采用爱尔兰实际电力负荷数据进行算例分析,结果表明所提方法能够有效提高负荷预测精度。

摘要： 网络攻击检测在网络安全中扮演着重要角色。网络攻击检测的对象主要为僵尸网络、SQL注入等攻击行为。随着安全套接层/安全传输层(SSL/TLS)加密协议的广泛使用,针对SSL/TLS协议本身发起的SSL/TLS攻击日益增多,因此通过搭建网络流采集环境,构建了包含4种SSL/TLS攻击网络流与正常网络流的网络流数据集。针对当前网络攻击流检测的可观测性有限、网络流原始时空域分离性有限等问题,提出流谱理论,将网络空间中的威胁行为通过“势变”过程从原始时空域空间映射到变换域空间,具象为“势变谱”,形成可分离、可观测的特征表示集合,实现对网络流的高效分析。流谱理论在实际网络空间威胁行为检测中的应用关键是在给定变换算子的情况下,针对特定威胁网络流找到势变基底矩阵。由于SSL/TLS协议在握手阶段存在着强时序关系与状态转移过程,同时部分SSL/TLS攻击间存在相似性,因此对于SSL/TLS攻击的检测不仅需要考虑时序上下文信息,还需要考虑对SSL/TLS网络流的高分离度的表示。基于流谱理论,采用威胁模板思想提取势变基底矩阵,使用基于长短时记忆单元的势变基底映射,将SSL/TLS攻击网络流映射到流谱域空间。在自建SSL/TLS攻击网络流数据集上,通过分类性能对比、势变谱降维可视化、威胁行为特征权重评估、威胁行为谱系划分评估、势变基底矩阵热力图可视化等手段,验证了流谱理论的有效性。

摘要： 长时心电图是长时间连续记录心电状态的一种心电图,心律失常在心电图上的表现为心拍频率不规则或者波形异常,故高效精准地从长时心电图中识别心律失常具有重要的临床意义。针对从长时心电图中识别不同心律失常类型的问题,提出基于注意力机制的残差和LSTM网络的心律失常心拍分类模型。首先利用小波变换对原始长时心电信号进行滤波处理,然后利用QRS波检测算法对R波波峰进行定位,并以R波波峰为基准将原始信号切分成心拍图,最后放入Residual-Attention和LSTM网络进行特征提取并实现分类。提出的模型对正常心拍、室性早搏心拍及室上性早搏心拍的三分类准确率为96.09%,比传统的CNN网络模型提高了3.26%;三类心拍的F1值分别提高了2.04%、2.56%和5.30%。对比实验表明,提出的基于Residual-Attention和LSTM的心律失常心拍分类模型,相比传统的CNN模型有着更好的分类准确率和F1值。

摘要： 长短时记忆神经网络(LSTM)由于其在序列数据处理方面的显著优势,因此在无线通信领域得到广泛地应用。本文面向OFDM系统对基于LSTM网络的信道估计方法进行系统地研究与分析。该方法对输入的训练数据进行离线训练,使其学习到信道变化特征,获取信道状态信息预测结果。仿真结果显示,利用LSTM进行信道估计,其估计性能优于传统信道估计方法。

摘要： 传统声纹识别方法过程繁琐且识别率低,现有的深度学习方法所使用的神经网络对语音信号没有针对性从而导致识别精度不够。针对上述问题,本文提出一种基于非线性堆叠双向LSTM的端到端声纹识别方法。首先,对原始语音文件提取出Fbank特征用于网络模型的输入。然后,针对语音信号连续且前后关联性强的特点,构建双向长短时记忆网络处理语音数据提取深度特征,为进一步增强网络的非线性表达能力,利用堆叠多层双向LSTM层和多层非线性层实现对语音信号更深层次抽象特征的提取。最后,使用SGD优化器优化训练方式。实验结果表明提出的方法能够充分利用语音序列信号特征,具有较强的时序全面性和非线性表达能力,所构造模型整体性强,比GRU和LSTM等模型具有更好的识别效果。

摘要： 目的基于长短时记忆(long short-term memory,LSTM)网络,构建1型糖尿病(type 1 diabetes mellitus,T1DM)患者运动模式下的血糖预测模型,并研究该模型预测精度。方法使用UVa/Padova 1型糖尿病血糖代谢仿真器(type 1 diabetes metabolic simulator,T1DMS)模拟了30名受试者在不同的运动时间及运动时长下的血糖数据。利用LSTM神经网络构建糖尿病患者运动模式下的血糖预测模型。将预测结果与支持向量回归(support vector regression,SVR)、循环神经网络(recurrent neural network,RNN)进行对比。研究不同输入特征对模型预测性能的影响,并分析仅使用历史血糖值作为模型输入时高、低血糖预测的准确率,通过克拉克误差网络分析(error grid analysis,EGA)对血糖预测结果进行评估。结果在运动模式下,相比于SVR与RNN,基于LSTM的血糖预测模型在不同预测时长下均具有更小的预测误差。当模型输入序列时长达25 min时,高、低血糖事件在20 min预测时长下的预测准确率分别可达94.12%和90.59%,EGA的A、B区域占比可达100%。结论在运动模式下,基于LSTM的血糖预测模型表现突出。基于LSTM的血糖预测模型在仅使用历史血糖值作为模型输入的条件下,也可以实现血糖的短期预测,且能够较准确预测到高、低血糖事件的发生。

摘要： 制冷机在工业企业中的使用极为广泛,为了能及时发现制冷机长期运行过程中因气缸、曲轴磨损及设备松动等引起的运行异常及故障,保证制冷机的长期、稳定运行,研制了一套基于声信号无线远传和声纹识别的制冷机运行及故障监控系统。系统采用通用分组无线业务(GPRS)移动通讯网络,将现场采集到的制冷机运转噪声信号无线远传给上位机,然后在上位机内采用Mel倒谱系数(MFCC)特征提取与长短时记忆(LSTM)神经网络相结合的声纹识别方法对接收到的声信号进行处理,进而对制冷机的运行状况及故障进行监控和识别。试验结果表明,采用MFCC与LSTM神经网络相结合的方法,可以有效地提高系统的识别率及诊断效果,具有良好的应用前景。

摘要： 针对钢包连铸过程中需要精确控制下渣时刻的问题,提出一种基于局部加权回归和长短时记忆(LSTM)神经网络模型的连铸下渣预测系统。该系统对下渣过程中采集到的信号进行处理和识别,可准确预测下渣时刻。结合某钢厂的实际生产情况,在采集到的大量钢包下渣相关参数中,提取主要特征;使用局部加权回归对数据进行过滤处理,再结合LSTM建立下渣预测模型;给出LSTM模型与ARIMA模型、RNN模型的预测结果比较。研究结果表明,长短时记忆神经网络模型的预测误差小,预测准确度较高,具有广泛的应用前景。

摘要： 大城市地铁路网日益复杂且承载着巨大的客流量,客流预测精度要求日益提高,地铁进出客流量的精确预测为地铁运营调度提供重要的决策基础.提出了一种基于堆叠式自编码器(stacked autoencoder)和长短时记忆(Long Short-Term Memory)结合的方法用来预测地铁工作日与周末的进出客流量.地铁客流量存在一定周期性,通过将刷卡数据转化为时序数据作为输入,构建SAE-LSTM模型,并且利用TensorFlow,Keras对模型进行搭建与验证,结果表明模型比单一的SAE与LSTM模型拟合优度提高了5.3％,证明SAE-LSTM方法能有效应用于地铁进出客流量的预测,为地铁进出站客流量预测提供了新的方法.

摘要： 由于背景噪声,混响以及人声干扰等因素,远场语音识别任务一直充满挑战性.本文针对远场语音识别任务提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络声学模型.模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力.为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征.AMI数据集上的实验结果表明,与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了绝对1.5％的词错误率下降.

摘要： 长短时记忆(long short term memory,LSTM)是一种有效的链式循环神经网络(recurrent neural network,R2NN1),被广泛用于语言模型、机器翻译、语音识别等领域.但由于该网络结构还是一种链式结构,不能有效表征语言的结构层次信息,本文将LSTM扩展到基于树结构的递归神经网络(recursive neural network,RNN)上,用于捕获文本更深层次的语义语法信息,并根据句子前后词语间的关联性引入情感极性转移模型.实验证明本文提出的模型优于LSTM、递归神经网络等.

摘要： 分布式拒绝服务(Distributed Denial-of-Service,DDoS)攻击是目前最具有破坏力的一种网络攻击.大数据环境下,当前检测方法存在检测攻击类型单一、漏报率和误报率较高等问题.本文提出一种基于LSTM神经网络流量预测的DDoS攻击检测方法,首先定义了IP数据包统计特征(IP-Data-counts Feature,IPDCF)来表征网络流特征,然后采用长短时记忆(Long-Short-TimeMemory,LSTM)神经网络模型对IPDCF时间序列进行建模,且使用网格搜索和超参数最优法确定Dropout的值以缓解该模型的过拟合现象,最后建立基于IPDCF时间序列的LSTM模型来识别DDoS攻击.实验结果表明,该模型能够准确地预测正常网络流量变化趋势,识别DDoS攻击引起的异常.与同类方法相比,该方法能较早地检测DDoS攻击且漏报率和误报率更低.

摘要： 本发明公开了一种基于长短时记忆网络模型的短时数据流预测方法，步骤为：首先获取观测点中的多个训练样本，然后提取练样本的特征，根据训练样本的特征对训练样本进行分类，分别为数据流量值变化趋势剧烈和平缓两个类型、或变化趋势上升和下降两个类型；采用所有训练样本针对LSTM模型进行训练，得到训练后的主模型，再分别采用两种类型的训练样本分别对主模型进行训练，分别得到第一类子模型和第二类子模型。获取观测点测试样本，通过分类器对测试样本进行分类，然后根据分类结果将测试样本输入到第一类子模型或第二类子模型中，通过第一类子模型或第二类子模型预测出观测点下一时间点的数量流量值。本发明方法提高了短时数据流预测的准确度。

摘要： 本发明公开了一种基于长短时记忆递归神经网络的短时交通流预测方法。该方法包括以下步骤：根据短时交通流的预测时间间隔，对输入的历史交通流数据进行聚合；对聚合后的历史交通流进行预处理；对长短时记忆递归神经网络设置合理的参数；使用预处理后的数据训练该神经网络预测模型；调用预测模型预测指定时间间隔的交通流量并评估预测误差。本发明利用了长短时记忆递归神经网络能够长时记忆输入历史数据的优势，可以得到更高的预测精度，且对不同的预测间隔有较好的扩展性。

摘要： 本发明公开了一种基于长短时记忆网络模型的短时数据流预测方法，步骤为：首先获取观测点中的多个训练样本，然后提取练样本的特征，根据训练样本的特征对训练样本进行分类，分别为数据流量值变化趋势剧烈和平缓两个类型、或变化趋势上升和下降两个类型；采用所有训练样本针对LSTM模型进行训练，得到训练后的主模型，再分别采用两种类型的训练样本分别对主模型进行训练，分别得到第一类子模型和第二类子模型。获取观测点测试样本，通过分类器对测试样本进行分类，然后根据分类结果将测试样本输入到第一类子模型或第二类子模型中，通过第一类子模型或第二类子模型预测出观测点下一时间点的数量流量值。本发明方法提高了短时数据流预测的准确度。

摘要： 本发明公开了一种基于长短时记忆递归神经网络的短时交通流预测方法。该方法包括以下步骤：根据短时交通流的预测时间间隔，对输入的历史交通流数据进行聚合；对聚合后的历史交通流进行预处理；对长短时记忆递归神经网络设置合理的参数；使用预处理后的数据训练该神经网络预测模型；调用预测模型预测指定时间间隔的交通流量并评估预测误差。本发明利用了长短时记忆递归神经网络能够长时记忆输入历史数据的优势，可以得到更高的预测精度，且对不同的预测间隔有较好的扩展性。

摘要： 本发明公开了强鲁棒的具有长短时记忆能力的采煤机记忆截割系统，用于对采煤机截割高度进行预测，包括数据预处理模块、采煤机截割高度长短时记忆网络模型(LSTM)建模模块、采煤机截割高度长短时记忆网络模型(LSTM)预测模块以及在线矫正模块。本发明能够快速准确地预测采煤机截割高度，且具有较强的环境适应能力。

摘要： 本发明涉及一种面向水环境的中文命名实体识别的方法，特别是涉及一种基于Lattice双向长短时记忆(LatticeBi‑directionalLongShortTermMemory,LatticeBiLSTM)，带有位置编码的自注意力机制与条件随机场(ConditionalRandomField,CRF)混合神经网络的中文命名实体识别方法。首先，将获取到的中文水环境文本数据用预先训练好的词典进行词嵌入，将中文字符与词语映射成向量。然后，使用LatticeBiLSTM神经网络层从两个方向对数据的字符级和词语级特征进行提取。接着使用带有位置编码的自注意力机制对数据的位置以及句子级特征进行提取。最后使用CRF来解码特征，并获取精准度较高的命名实体所属类别的预测结果。

摘要： 本发明涉及一种基于双向长短时记忆网络的APT攻击溯源分析方法，包括以下步骤：步骤S1：构建溯源图，针对审计日志数据抽取系统操作事件构建溯源图并对溯源图进行图优化；步骤S2：提取序列，对优化后的溯源图提取攻击序列和非攻击序列；步骤S3：深度学习模型训练。步骤S4：攻击实体识别，由入侵检测系统提供真实的攻击症状实体，再由深度学习模型识别所有的攻击实体；步骤S5：攻击路径溯源。本发明针对日志类型的溯源数据，并通过图优化算法对依赖爆炸的溯源图进行处理，提取了攻击序列和非攻击序列，实现了对攻击实体的自动化识别，并在此基础上进行了攻击路径的溯源，能够准确的恢复出攻击路径。

摘要： 本发明公开一种基于双向长短时记忆神经网络的电力负荷预测方法，该方法采用双向长短时记忆神经网络和岭回归算法相结合的双层模型架构，对电力负荷进行未来p小时的预测，首先从不同的输入时间尺度组合中筛选出最佳的输入时间尺度组合和岭回归系数α，再训练双向长短时记忆神经网络作为预测模型，对预测日期进行未来p小时的电力负荷预测。本发明提供了筛选最佳输入时间尺度组合的方法，根据最佳的输入时间尺度组合建立双向长短时记忆神经网络，解决了无法确定输入时间尺度组合的问题；通过岭回归模型对预测日期前一日的预测值与实际值建立映射关系并对预测日期进行预测，大大提高了电力负荷的预测精度。

摘要： 本发明公开了基于双向长短时记忆神经网络的托卡马克放电建模系统，由多个模块组成，所述的模块是低耦合的功能单元。所述的模块至少包括数据转存模块、Batch数据访问输入模块、训练自定义参数模块、双向长短时记忆神经网络建模模块、数据可视化模块。整个系统的体系架构主要分成两路分别是数据训练和数据建模。利用可视化技术提供给托卡马克放电实验人员放电建模的结果做参考和可视化模型训练过程。本发明可以一键式的在实验提案阶段提前建模全过程的托卡马克放电曲线，供实验人员和提案设计人员检查提案有效性和合理性。本发明同时也可用于对实验后的数据进行辅助数据发现。

摘要： 一种基于长短时记忆网络和NSGA‑II算法的洪水预报模型多目标优化方法，首先，确定长短时记忆LSTM网络洪水预报模型的结构，将收集与整理的研究流域场次洪水资料划分为训练集、测试集场次，截取每次洪水的前期降雨序列使每个样本的输入降雨序列长度相等，得到训练集、测试集样本的输入降雨序列。其次，根据防洪保护对象的实际需求设计多个目标函数，构建LSTM洪水预报模型参数多目标优化框架，将LSTM洪水预报模型的前向计算嵌套至多目标优化框架内，循环更新与评价模型参数组，得到最优参数组。最后，将最优参数组输入LSTM洪水预报模型，并评估分析LSTM洪水预报模型的模拟、预报效果。本发明能够满足不同场景下LSTM洪水预报模型参数多目标优化的需求，为山洪灾害预报预警工作提供了新的技术支撑。