深度学习在实践中的显著成功,从理论的角度揭示了一些重大的惊喜。特别是,简单的梯度方法很容易找到非凸优化问题的接近最优的解决方案,尽管在没有任何明确的努力控制模型复杂性的情况下,这些方法提供了近乎完美的训练数据,这些方法显示了优秀的预测精度。我们推测这些现象背后有特定的原理: 过度参数化允许梯度方法找到插值解,这些方法隐含地施加正则化,过度参数化导致良性过拟合。