1. 过拟合、欠拟合及其解决方案 本节主要讲了3个点,1. 过拟合、欠拟合的概念 2. 权重衰减 3. 丢弃法 其中权重衰减只讲了L2正则化,其实还有L1正则化、L12正则化等。 丢弃法其实就是Dropout,只是翻译成了中文。 Inverted-Dropout Inverted-Dropout是实现 dropout 的方法。假设对第i层进i行 dropout: p = 0.8 di = np.random.rand(ai.shape[0], ai.shape[1]) < p ai = np.multiply(ai, di) ai /= keep_prob 最后一步ai /= p是因为