多重线性回归模型中的最小二乘估计与投影法

摘要

多重线性回归模型研究多个协变量与一个因变量之间的依存关系,是简单线性回归的重要推广.最小二乘法是一种数据优化技术,通过最小化误差平方和寻找最优解,是线性回归中参数估计最经典的方法之一.投影是线性代数中的一个重要概念.从投影的角度可以将最小二乘法理解为将设计矩阵的列向量所张成的线性空间到观测向量的欧式误差距离最小化.用投影法讲解多重线性回归模型中的最小二乘法简单直观,避免了学生死记硬背最小二乘估计和方差的公式.