回归(Regression)最早由高尔顿(1886)提出,他发现,子辈的平均身高是其父辈平均身高以及他们所处族群平均身高的加权平均和,即身高具有均值回归的倾向。这个均值本质上是条件均值(给定父辈和种群平均身高,子代身高的均值),经典回归模型事实上就是在估计条件均值。 在经典回归模型中,我们希望用解释变量(regressand)XXX的函数g(X)g(X)g(X)来预测被解释变量(regressor)YYY。此时需要一个标准来测度g(X)g(X)g(X)与YYY的接近程度,均方误(mean squared error, MSE)准则最常被使用,MSE是预测误差(预测值g(X)g(X)g(X)与目