一个框架看懂优化算法.pdf

一个框架看懂优化算法 一一个框架看懂优化算法 说到优化算法入门级必从 SGD 学起老司机则会告诉你更好的还有 AdaGrad / AdaDelta 或者直接无脑用 Adam 可是看看学术界的最新 paper却发现一众大神还在 用着入门级的 SGD 最多加个 Momentum 或者 Nesterov还经常会黑一下 Adam 这是 为什么呢 机器学习界有一群炼丹师他们每天的日常是 拿来药材数据 架起