一种针对输出结果为连续性变量进行预测的回归模型

摘要

本发明涉及预测模型的研究领域，具体的是基于机器学习方法下的一种针对输出结果为连续性变量进行预测的回归模型，具有以下优点：高度鲁棒性和容错能力，即模型具有较高的精度，算法性能面对模型假设出现误差时产生的影响较小，可维持其稳定性；脱离人为模型的限制，不依赖于参数及模型本身，通过计算机自主学习实时优化模型。该方法以影响输出结果的因素为基础，以多层全连接层神经网络模型为架构进行预测，该模型尤其适用于庞大的数据量，具有较高的精度及稳定性，能充分逼近复杂的非线性关系且脱离人为模型的限制。

说明书

技术领域

本发明涉及预测模型的研究领域，具体的是一种针对输出结果为连续性变量进行预测的回归模型。

背景技术

机器学习是一种近年来兴起的基于计算机的统计学方法，由于它能够接纳庞大的数据集，并以灵活、可训练的方式理解变量之间的复杂关系，使得它在大数据的处理中具有独特的优势，从而获得群体水平的数据来反映人群普遍的真实情况，而不是从少量的具有偏倚的样本数据中分析获得片面的结果而对群体水平进行推断，这是相较于经典医学统计学的巨大优势及根本性的改变。既往的研究多集中于对数据水平观察，随着电子医疗档案记录的普遍应用，评价随着时间发展演变，数据纵向效应的分析显得尤为重要，在相关研究的基础上预测未来事件的发生是必要的。这种方法所具有的灵活性和延展性使得同一组算法能够接受迭代训练，在基础数据集的深度和广度中发现多个临床问题。

机器学习方法在医学领域的应用的范围主要包括图像识别、遗传学和基因组学分析、智能诊疗和预测预后。其中预测预后通过对患者临床症状、检验学和影像学特征及基因组学分析等要素对疾的诊断、发生发展、预后等进行了预测，主要应用的方法是支持向量机和人工神经网络，少部分运用了随机森林，对于二分类和多分类结果变量的概率估计时显示出了良好的性能。但目前临床中缺乏基于机器学习方法对输出结果为连续性变量的模型的建立，该方面的预测研究仍处于空白。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种针对输出结果为连续性变量进行预测的回归模型，解决了目前缺乏基于机器学习方法对输出结果为连续性变量的模型的现状。

本发明的目的可以通过以下技术方案实现：

一种针对输出结果为连续性变量进行预测的回归模型，包括以下步骤：

一、确定神经网络模型的架构及秩函数，以逻辑回归作为基本模型，函数为欧式距离，激活函数为ReLU；

二、参数处理：输入维度包括连续变量和分类变量，连续变量中离散数值直接减去该维度均值再除以方差将其统一归一化，分类变量用0、1量化表示后再归一化；

三、将数据随机化后分为训练集及测试集，其特征及分布统一；

四、初始化函数，设定输入层节点、隐藏节点和输出层节点的数量；

五、初始参数，设定训练集中批大小，验证集中批大小学习率以及总回合数；

六、使用训练集样本训练学习模型，运用误差反向传播算法和梯度下降算法根据输入的不同维度与输出结果及维度间的权重实时反馈并优化权重，从而学习并构建出模型；

七、根据已有的模型对未知的测试集数据进行测试以验证模型的拟合度，用损失函数曲线表示，并采用平均绝对误差、平均平方误差和均方根误差三个量化指标对模型进行精度分析。

进一步地，所述步骤一中：神经网络模型内部算法中的W是权重矩阵，W

X

O

X

估算不同样本之间的相似性度量采用欧式距离d：

两个n维向量a(x11，x12，…，x1n)与b(x21，x22…x2n)间的欧氏距离：

进一步地，所述激活函数为ReLU：

公式：a＝g(x)＝max(0,z)

导数：

进一步地，所述步骤六中：设输出误差为e，转置矩阵W

归一化因子忽略后可得：

error

进一步地，所述步骤六中：W

ΔW

本发明的有益效果：

本发明以影响输出结果的因素为基础，以多层全连接层神经网络模型为架构进行预测。该模型尤其适用于庞大的数据量，具有较高的精度及稳定性，能充分逼近复杂的非线性关系且脱离人为模型的限制。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明多层全连接层神经网络模型示意图；

图2是本发明神经网络模型内部算法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种基于Python编程，多层全连接层神经网络为模型架构，如如1所示，针对输出结果为连续性变量进行预测的回归模型，具体包括以下几个步骤：

一、确定神经网络模型的架构及秩函数，本模型以逻辑回归作为基本模型，函数为欧式距离，激活函数为ReLU；

二、参数处理：输入维度包括连续变量和分类变量，连续变量中离散数值直接减去该维度均值再除以方差将其统一归一化，分类变量用0、1量化表示后再归一化(数值化+归一化)；

三、将数据随机化后分为训练集(training set)及测试集(test set)，其特征及分布需统一；

四、初始化函数，设定输入层节点、隐藏节点和输出层节点的数量；

五、初始参数，设定trainbatch size(训练集中批大小)，val batch size(验证集中批大小)，learning rate(学习率)以及num epochs(总回合数)；

六、使用训练集样本训练学习模型，运用误差反向传播算法和梯度下降算法根据输入的不同维度与输出结果及维度间的权重实时反馈并优化权重，从而学习并构建出模型；

七、根据已有的模型对未知的测试集数据进行测试以验证模型的拟合度，用损失函数曲线(LOSS曲线)表示，并采用平均绝对误差(Mean absolute error，MAE)、平均平方误差(Mean square error，MSE)和均方根误差(Root mean square error，RMSE)三个量化指标对模型进行精度分析。

具体的，步骤一中：

神经网络模型内部算法示意图如图2所示，此处以输入层2层，隐藏层2层为例：

W是权重矩阵，W

X

O

X

估算不同样本之间的相似性度量采用欧式距离d：

两个n维向量a(x11，x12，…，x1n)与b(x21，x22…x2n)间的欧氏距离：

激活函数为ReLU：

公式：a＝g(x)＝max(0,z)

导数：

步骤六中：设输出误差为e，转置矩阵W

将分数的分母(归一化因子)忽略后可得：

error

W

ΔW

本发明中的模型的优势在于：

1、并行分布处理；

2、高度鲁棒性和容错能力：即模型具有较高的精度，算法性能面对模型假设出现的误差时产生的影响较小，可维持其稳定性；

3、分布存储及学习能力；

4、能充分逼近复杂的非线性关系；

5、脱离人为模型的限制，不依赖于参数及模型本身，通过计算机自主学习实时优化模型；

6、输出结果可以为连续性变量；

7、适用于庞大的数据量。

本模型以影响输出结果的因素为基础，以多层全连接层神经网络模型为架构进行预测。该模型尤其适用于庞大的数据量，具有较高的精度及稳定性，能充分逼近复杂的非线性关系且脱离人为模型的限制。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。