一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法

摘要

本发明公开了一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法，本发明不完整数据的贝叶斯半监督鲁棒概率PLS（Bayesian semisupervised robust PPLS,BSRPPLS）故障监测方法，不同现有基于多元学生分布PPLS建模,该方法使用独立学生分布对每个数据向量噪声进行建模，从利用分布中包含一个可调鲁棒自由度参数，提高了建模的灵活性；使用贝叶斯变分推理方法求解估计后验分布参数；本模型能够使用无污染数据元素重建原始数据，降低被污染元素对重构数据的影响，解决了数据丢失和在野点影响模型精度问题，具有良好的鲁棒性，有利于提高工业过程监测性能和过程运行理解认知水平。

说明书

技术领域

本发明属于PPLS软测量技术领域，尤其涉及一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法。

背景技术

着工业4.0时代的到来,现代工业自动化系统不断朝着复杂化、信息化和智能化的趋势发展。过程监测作为保证产品质量稳定性、过程生产设备安全平稳运行的关键,已经成为现代复杂工业系统不可或缺的重要组成部分。在实际过程中,由于外在环境变化、原材料品质波动性、测量设备自身的精度以及设备复杂性，难以直接建立的过程数学监测模型。因此，基于数据动的过程监测理论和技术能够帮助操作人员和工程师进一步了解生产过程相关知识，受到人们的普遍关注，并在实际应用中取得较好的效果[1-5]。典型的过程监测方法主要有主元分析(principal component analysis,PCA)及其改进型，偏最小二乘(partial least squares,PLS),高斯混合模型(Gaussian mixture model，GMM)等统计学习方法[5-8]。考虑到过程模态数据的局部性以及过程本质特征往往位于数据低维空间，流形学习具有描述数据几何结构的强大能力，在非线性维数约简和描述数据局部特性的出色表现。充分利用流形学习描述数据结构优点与经典统计分析方法，是提高故障诊断的准确性和可理解性的可行方法。比如用于故障诊断的常见流形学习方法主要有最大方差展开(maximum variance unfolding，MVU)，统计局部保持投影(locality preservingprojections，LPP),近邻保持嵌入(neighborhood preserving embedding，NPE)及其扩展形式[9-13]。

在实际中，过程数据、变量和系统本身的各种复杂性，另外，生产过程的开机、停机、或者各个操作工况的切换过程往往具有很强的动态特性，造成工业过程数据表现形式非常复杂。其复杂性主要表现在在野点、缺失，工业过程变量表现为动态性、高斯与非高斯特性以及随机性。由于工业过程数据的复杂性，过程运行和质量特性往往隐藏在数据中，给过程监测、模式理解以及工业运行知识的获取提出了挑战。如何从这些复杂、不确定过程数据抽取隐藏数据特征，提高过程故障诊断准确性和过程运行机制的可理解性，是过程故障诊断的关键基本问题。过程运行特性往往位于隐藏低维空间，过程数据受到外界环境以及设备运行工况变化表现较强的随机不确定性，利用线性隐变量模型强大的数据降维和信息提取以及概率图理论对随机数据建模的强大能力，以提高模型的鲁棒性和信息抽取能力的建模方法逐渐成为过程故障监测和软测量建模重要方法[15-21]。考虑环境噪声等不确定性以及PCA主元空间和残差空间统计量度量差异问题，文[15]提出一种基于因子分析(factor analysis,FA)模型的可自动确定因子数的整体-局部因子数确定法，利用增加了变量方差信息的NLLP来构造监控统计。利用学生t-分布能够近似高斯/非高斯分布能力，文[7]提出了基于t-分布的PICA算法，并在此基础上提出了两阶段概率ICA(probabilisticICA，PICA)和PPCA分别提取数据中高斯和非高斯信息，提高了模式的理解性。文[16]把贝叶斯正则化因子引入混合主元回归(principal component regression，PCR)，自动选择主元成分的数量。学生t-分布属于广义高斯分布，更适合于模拟非高斯分布，已经成为非高斯过程建模、提高模型鲁棒性的重要方法[7，20]。文[20]针对过程噪声和观测噪声均是学生t-分布问题，提出了基于学生t-分布的鲁棒滤波器，通过对多个传感器信息融合提高组合导航系统的导航精度和对特殊情况的适应能力。考虑到过程的数据缺失和离群点问题，文[7]提出基于EM优化方法的鲁棒PPCA(robust probabilistic PCA，RPPCA)算法，使用独立t-分布描述非高斯隐变量，并讨论了缺失数据的PCA建模方法。为提高混合模型的鲁棒性，文[21]提出基于输入变量服从t-分布的半监督鲁棒混合线性回归建模方法，成功应用于多模态过程质量预测。文献[22]提出极大似然混合因子分析模型(Maximum-likelihoodmixture factor analysis,MLMFA)以解决噪声因素、非高斯成分和多模态问题。实际系统传感器噪声分布非高斯性以及测量数据缺失性问题，文[22]提出不完整数据的鲁棒主元分析方法，并成功用于数据噪声消除。

偏最小二乘(PLS)模型是一种广泛应用的工业软测量和故障监测技术，在理论研究和实际应用均取得较大进展[19,23,24]。文[19]基于概率图理论详细研究了隐变量模型-PLS建模理论和隐变量模型的概率集成建模方法，并对多个隐变量模型进行对比。孔祥玉对近年来PLS的发展进行了详细综述，可以看出PLS及其扩展形式仍然是工业过程软测量和故障监测的重要工具[22]。然而，传统的PLS主要针对等数量的过程(输入)数据和质量(输出)数据、完整数据以及高斯噪声。而实际工业过程具有获取质量数据代价较大、经常出现测量数据缺失、测量噪声往往偏离高斯分布以及随机不确定性等特点，严重影响PLS模型的性能。为充分利用标记未标记过程数据信息，消除缺失数据和离群点对PLS建模影响，对非高斯噪声准确建模。

[1].Zeyu Yang，Zhiqiang Ge.Industrial Virtual Sensing for Big ProcessData based on Parallelized Nonlinear Variational Bayesian FactorRegression.IEEE Transactions on Instrumentation and Measurement，2020

[2]Jing Yang，Guo Xie a，Yanxi Yang.An improved ensemble fusionautoencoder model for fault diagnosis from imbalanced and incompletedata.Control Engineering Practice，98(2020) 104358

[3].Tipping，M.E.，Lawrence，N.D.Variational inference for Students’t-models:robust Bayesian interpolation and generalized componentanalysis.Neurocomputing，69:123-141，2005.

[4].Bei Wang，Zhichao Li，Zhenwen Dai，Neil Lawrence，Xuefeng Yan.Data-driven mode identification and unsupervised fault detection for nonlinearmultimode processes.IEEE Transactions on Industrial informatics，16(6):3651-3660，2020

[5].Wende Tian，Yujia Ren，Yuxi Dong，Shaoguang Wang，Lingzhen Bu.Faultmonitoring based on mutual information feature engineering modeling inchemical process.Chinese Journal of Chemical Engineering 27(2019)2491–2497

[6].翟坤，杜文霞，吕锋，辛涛.句希源.一种改进的动态核主元分析故障检测方法，化工学报.2019,70(2):716-722

[7].朱金林.数据驱动的工业过程鲁棒监測.博士学位论文，浙江大学，2016

[8]T Yie Yu.A nonlinear kernel Gaussian mixture model basedinferential monitoring approach for fault detection and diagnosis of chemicalprocesses.Chemical Engineering Science,68(2012) 506-519

[9]Yuan-Jui Liu,Tao Chen,Yuan Yao.Nonlinear process monitoring andfault isolation using extended maximum variance unfolding.Journal of ProcessControl 24(2014)880–891

[10]Fei He,Jinwu Xu A novel process monitoring and fault detectionapproach based on statistics locality preserving projections.Journal ofProcess Control,37:46-57,2016.

[11]Xiaoxia Chen,Chudong Tong,Ting Lan,Lijia Luo.Dynamic processmonitoring based on orthogonal dynamic inner neighborhood preservingembedding model.Chemometrics and Intelligent Laboratory Systems,193(2019)103812

[12]Bing Song,Shuai Tan,Hongbo Shi.Time–space locality preservingcoordination for multimode process monitoring.Chemometrics and IntelligentLaboratory Systems,15115:190-200,2016

[13]Yue Li,Yijie Zeng,Yuanyuan Qing，Guang-Bin Huang.Learning localdiscriminative representations via extreme learning machine for machine faultdiagnosis.Neurocomputing,4097:275-285,2020.

[14]胡婷婷，王帆，侍洪波.基于变量概率信息的因子分析监控方法.化工学报,2017,68(7):2844-2850.

[15]Zhiqiang Ge.Mixture Bayesian Regularization of PCR Model and SoftSensing Application.IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS,62(7):4336-4343,2015

[16]唐俊苗,俞海珍,史旭华,童楚东.基于潜变量自回归算法的化工过程动态监测方法.化工学报,2019,70(3):987-994

[17]GE Z Q,SONG Z H.Maximum-likelihood mixture factor analysis modeland its application for process monitoring[J].Chemometrics&IntelligentLaboratory Systems,2010,102(1):53-61.

[18]Weiming Shao,Zhiqiang Ge,Le Yao,Zhihuan Song.Bayesian NonlinearGaussian Mixture Regression and its Application to Virtual Sensing forMultimode Industrial Processes.IEEE Transactions on Automation Science andEngineering,17(2):423-437,2020

[19]郑俊华.工业过程数据隐变量回归建模及应用.博士学位论文，浙江大学，2017

[20]吴骁航,马克茂.Student’s t滤波框架下的信息融合算法.浙江大学学报(工学版),54(3):581-588,2020

[21]Weiming Shao,Zhiqiang Ge,Zhihuan Song,et al.Semisupervised RobustModeling of Multimode Industrial Processes for Quality Variable PredictionBased on Student’s t Mixture Model.IEEE Transactions on Industrialinformatics,16(5):2965-2976,2020.

[22]Jaakko Luttinen,Alexander Ilin,Juha T Karhunen.Bayesian RobustPCA of Incomplete Data.Neural Processing Letters,36(2):189-202,2012

[23]陈家益，赵忠盖，刘飞.鲁棒PPLS模型及其在过程监控中的应用.化工学报，67(7)：2907-2915，2016.

[24]孔祥玉,解建,罗家宇等.基于局部信息增量与MPLS的质量相关故障检测方法.控制与决策.https://doi.org/10.13195/j.kzyjc.2019.1402。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法，使用独立学生分布对每个数据向量噪声进行建模，利用分布中包含一个可调鲁棒自由度参数，提高了建模的灵活性，使用贝叶斯变分推理方法估计后验分布。本模型不仅充分利用使用标记数据和未标记数据，而且尽可能使用无污染数据元素重建原始数据，降低被污染元素对重构数据的影响，同时解决数据丢失和在野点问题，具有良好的鲁棒性，提高了模型精度，有利于提高工业过程监测性能和过程运行理解认知水平。

本发明为解决上述技术问题采用以下技术方案：

一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法，包含不完整数据的贝叶斯半监督鲁棒PPLS模型和贝叶斯变分推理的模型参数学习两部分；具体包含如下步骤；

步骤1，初始化先验分布参数以及隐变量分布超参数；

步骤2，根据训练数据集使用基于EM算法的PPLS方法确定初始模型参数以及隐变量参数；

步骤3，计算隐变量后验分布q(Δ)并更新分布参数；

步骤4，求解优化问题得到最优先验超参数v；

步骤5，根据近似后验分布计算对数似然函数的变分下界；

步骤6，判断是否满足收敛条件，若满足则对未知数据样本对应的质量数据进行预测，实现质量软测量；反之则，返回步骤3。

作为本发明一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法的优选方案，在步骤6中，模型收敛条件即为似然函数L(q(Δ),Θ)变化小于事先确定的阈值确定thr，即

|L(q(Δ

其中，L(q(Δ

作为本发明一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法的优选方案，不完整数据的贝叶斯半监督鲁棒PPLS模型，具体包含如下步骤；

给出标记样本的输出

其中，

其中，

p(t)＝N(t|0,I

其中，τ表示τ

p(τ)＝∏Ga(τ

参数α＝[α

p(β)＝Ga(β|a

在仿真中，为获得较为宽广分布，超参数设置为a

令

其中O表示z

其中，O'表示未标记样本X

引入隐变量U和U'，学生t-分布可使用高斯分布层次构建，则考虑所有标记样本和未标记样本的似然函数

其中，W

作为本发明一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法的优选方案，贝叶斯变分推理的模型参数学习，具体包含如下步骤；

步骤2.1贝叶斯变分推理；

步骤2.1贝叶斯变分推理的后验分布参数学习。

作为本发明一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法的优选方案，贝叶斯变分推理，具体包含如下步骤；

贝叶斯变分推理原理就是给定训练数据集Ω以及需要优化模型参数和隐变量Δ＝{T，μ,W,τ,U,α,β,Θ}，真实的后验分布p(Δ|Ω)和关于Δ的任意形式概率分布q(Δ)，对数似然函数lnp(Ω)可以分解为

lnp(Ω)＝L(q)+KL(q||p)

其中，L(q)＝∫q(Δ)ln(p(Δ,Ω)/q(Δ))dΔ，KL(q||p)＝∫q(Δ)ln(q(Δ)/p(Δ|Ω))dΔ表示Kullback-Leibler(KL)散度。由于KL(q||p)≥0，那么lnp(Ω)≥L(q)，这样最大化lnp(Ω)等价于最大化L(q)，通过对优化q(Δ)使得KL(q||p)＝0，从而实现q(Δ)近似于p(Δ|Ω)，该优化问题的形式为

假定q(Δ)可分解为各个优化参数分布的乘积

其中，-Δ

基于贝叶斯变分推理理论，根据模型概率结构图和似然函数，联合后验概率分布函数为

其中，根据条件独立性原理，p(W,μ,τ|α,β)＝p(W|τ，α)p(μ|τ,β)p(τ)；

根据平均场理论，隐变量后验概率可分别为

p(W,T,μ,τ,U,α,β)≈q(T)q(μ,W|τ)q(U)q(α)q(β)q(τ) (14)

令Δ＝(T，μ,W,τ,U,α,β,Θ}，q(Δ)＝q(T)q(μ,W|τ)q(U)q(α)q(β)q(τ)，根据贝叶斯变分原理，对数似然函数的变分下界为

L(q(Δ),Θ)＝〈lnp(Δ,Z,X

这里，const作为独立于Δ的无关项视为常数。求解L(q(Δ),Θ)等价于对所有变分分布分别求导。

作为本发明一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法的优选方案，贝叶斯变分推理的后验分布参数学习，具体包含如下步骤；

考虑q(μ,W|τ,α,β)，注意到

其中，-W表示Δ除W意外的其余优化参数。〈τ

当d＝D+1,D+2,…,D+E时O'

由于q(W|τ,α)和q(μ|τ,β)服从正态分布，那么

根据式(16)-(20)，式(21)对应的均值和方差形式如下

求取

其中，

考虑后验分布

对上式进一步整理可得

这里，N

考虑后验分布

根据上式可得q(T)的参数形式

其中，O

注意到后验分布

对上式进行整理，很容易得到如下q(α)的参数形式

同样后验分布

参数计算方法为

对独立的学生t-分布模型，后验分布

由上式可得q(U)的分布参数

其中，

对于多维学生t-分布噪声模型，本文只是简单地把参数v

超参数

v

其中,

建立模型后，对于未标记数据x

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明不完整数据的贝叶斯半监督鲁棒概率PLS(Bayesian semisupervisedrobust PPLS，BRPPLS)故障监测方法，不同现有基于多元学生t-分布PPLS建模,该方法使用独立学生t-分布对每个数据向量噪声进行建模，从利用t-分布中包含一个可调鲁棒自由度参数，提高了建模的灵活性；使用贝叶斯变分推理方法求解估计后验分布；本模型不仅充分利用使用标记数据和未标记数据，而且尽可能使用无污染数据元素重建原始数据，降低被污染元素对重构数据的影响，同时解决数据丢失和在野点问题，具有良好的鲁棒性和很高的精度，有利于提高工业过程监测性能和过程运行理解认知水平。

附图说明

图1是本发明不完整数据的贝叶斯半监督鲁棒PPLS概率结构图；

图2是本发明提出的软测量框架流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于不完整数据的贝叶斯半监督鲁棒PPLS软测量方法，包含不完整数据的贝叶斯半监督鲁棒PPLS模型和贝叶斯变分推理的模型参数学习两部分；具体包含如下步骤；

步骤1，初始化先验分布参数以及隐变量分布超参数；

步骤2，根据训练数据集使用基于EM算法的PPLS方法确定初始模型参数以及隐变量参数；

步骤3，计算隐变量后验分布q(Δ)并更新分布参数；

步骤4，求解优化问题求解最优先验超参数v；

步骤5，根据近似后验分布计算对数释然函数的变分下界；

步骤6，判断是否满足收敛条件，若满足则对未知数据样本对应的质量数据进行预测，实现质量软测量；反之则，返回步骤3。

如图1所示，不完整数据的贝叶斯半监督鲁棒PPLS概率结构图：图1中y

本图中简略了先验概率参数的标准，只标注了训练数据、模型参数、隐变量和需要更新的参数。完全似然分布函数和隐变量后验分布形式均根据图1得到。

图2给出了本专利实现流程图中，初始先验分布参数以及隐变量分布超参数选取方法在上述说明书中已经讨论，主要是根据经验确定先验分布参数，根据训练数据集使用文[19]提出的基于EM算法的PPLS方法确定初始模型参数以及隐变量参数。这样不仅提高优化算法的收敛速度，而且不容易陷入局部极值点，提高模型性能。

根据式(17)-式(42)参数更新公式对隐变量后验分布参数进行更新。在更新时，当前参数要使用前面更新后的参数值进行更新。

求解式(43)和式(44)所示的优化问题更新标记样本对和未标记样本对应的学生t-分布参数值v

模型收敛条件就是根据式(15)所示似然函数L(q(Δ),Θ)变化小于事先确定的阈值确定thr，即

|L(q(Δ

其中，L(q(Δ

当模型训练完成后，使用式(45)对未知数据样本对应的质量数据进行预测，实现质量软测量

1不完整数据的贝叶斯半监督鲁棒PPLS模型

给出标记样本的输出

其中，

其中，

p(t)＝N(t|0,I

这里τ表示τ

p(τ)＝∏Ga(τ

参数α＝[α

p(β)＝Ga(β|a

在仿真中，为获得较为宽广分布，参数设置为a

令

其中O表示z

其中，O'表示未标记样本X

引入隐变量U和U'，学生t-分布可以使用高斯分布层次构建，那么考虑所有标记样本和未标记样本的似然函数

其中，W

2贝叶斯变分推理的模型参数学习

2.1贝叶斯变分推理

贝叶斯变分推理原理就是给定训练数据集Ω以及需要优化模型参数和隐变量Δ＝{T，μ，W，τ，U,α,β,Θ}，真实的后验分布p(Δ|Ω)和关于Δ的任意形式概率分布q(Δ)，对数似然函数lnp(Ω)可以分解为

lnp(Ω)＝L(q)+KL(q||p) (10)

其中，L(q)＝∫q(Δ)ln(p(Δ，Ω)/q(Δ))dΔ，KL(q||p)＝∫q(Δ)ln(q(Δ)/p(Δ|Ω))dΔ表示Kullback-Leibler(KL)散度。由于KL(q||p)≥0，那么lnp(Ω)≥L(q)，这样最大化lnp(Ω)等价于最大化L(q)，通过对优化q(Δ)使得KL(q||p)＝0，从而实现q(Δ)近似于p(Δ|Ω)，该优化问题的形式为

假定q(Δ)可以分解为各个优化参数分布的乘积

这里，-Δ

基于贝叶斯变分推理理论，根据图1所示的模型概率结构图和式(9)所示的似然函数，联合后验概率分布函数为

这里，根据条件独立性原理，p(W,μ,τ|α,β)＝p(W|τ，α)p(μ|τ,β)p(τ)。

根据平均场理论，隐变量后验概率可以分别为

p(W,T,μ,τ,U,α,β)≈q(T)q(μ,W|τ)q(U)q(α)q(β)q(τ) (14)

令Δ＝{T，μ,W,τ,U,α,β,Θ}，q(Δ)＝q(T)q(μ,W|τ)q(U)q(α)q(β)q(τ)，根据贝叶斯变分原理，对数似然函数的变分下界为

L(q(Δ),Θ)＝〈lnp(Δ,Z,X

这里，const作为独立于Δ的无关项视为常数。求解L(q(Δ),Θ)等价于对所有变分分布分别求导。

2.1贝叶斯变分推理的后验分布参数学习

考虑q(μ,W|τ,α,β)，注意到

这里，-W表示Δ除W意外的其余优化参数。〈τ

需要注意的是，当d＝D+1,D+2,…,D+E时O'

由于q(W|τ,α)和q(μ|τ,β)服从正态分布，那么

根据式(16)-(20)，式(21)对应的均值和方差形式如下

求取

其中，

考虑后验分布

对上式进一步整理可得

这里，N

考虑后验分布

根据上式可得q(T)的参数形式

这里，O

注意到后验分布

对上式进行整理，很容易得到如下q(α)的参数形式

同样后验分布

参数计算方法为

对独立的学生t-分布模型，后验分布

由上式可得q(U)的分布参数

其中，

对于多维学生t-分布噪声模型，本文只是简单地把参数v

超参数

v

其中,

建立模型后，对于未标记数据x

在实现时，首先需要解决隐空间维度的选择问题。一种方法就是计算并排序投影矩阵的L2-范数，选取列向量范数大的投影维度，忽略较小范数的维度。另外一个方法是首先根据范数方法粗略选取投影维度，然后采取交叉验证方法进行维度选取。

另外需要确定模型参数初始值。C、P、μ

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。