【图解例说机器学习】模型选择:偏差与方差 (Bias vs. Variance)

机器学习的过程大致分为三步:1)模型假设,比如我们假设模型是线性回归,还是多项式回归,以及其阶数的选择;2)误差函数定义,比如我们假设误差函数是均方误差,还是交叉熵;3)参数求解,比如使用正规方程,还是梯度下降等。 这篇文章主要讨论模型的选择问题,下面以多项式回归为例进行说明 一个例子:多项式回归中的阶数选择 在前面的文章【图解例说机器学习】线性回归中,我们定义了广义的线性回归模型,其表达式为: y^=ω0+∑j=1Mωjφj(x)=ω0+wTφ(x)(1) \hat y=\omega_0+\sum\limits_{j=1}^{M}\omega_j\phi_j(\mathrm x)=\omeg