近红外光谱分析中的一种基于XY变量联合的异常样本剔除算法

摘要

在近红外光谱分析中,异常样本的存在会影响所建预测模型的性能.为了剔除异常样本,提高预测模型的预测能力,首先提出并证明了XY距离关系定理;在此基础上,设计了一种新型的基于XY变量联合的ODXY异常样本剔除算法.本次研究对102个羊肉样本的近红外光谱及其含水率进行了测定,在此样本集上分别采用常用的马氏距离剔除法、蒙特卡洛采样法和本文提出的ODXY算法对异常样品进行判别和剔除,并用剔除后的样本建立偏最小二乘预测模型;然后采用预测均方差RMSEP和决定系数R2来检验模型的性能;最后,通过重新分配训练集和验证集检验算法的泛化能力.实验结果表明,在利用ODXY算法剔除预测样本的基础上建立的预测模型性能最佳,且具有更好的泛化能力.