今天有朋友咨询我反向传播算法,我觉得不需要太复杂的推导,就可以解释清楚这个算法的原理。 序 假定神经网络采用下面的结构: 1. 最简单的神经网络模型 我们考虑最简单的情况:一个输入节点、一个输出节点、一个训练样本,网络结构如下图: 2. 损失函数 为了简化分析,我们假定只有一个训练样本 (x,y)(x,y)(x,y)。于是,损失函数简化为下面的形式: E=12(y−a5)2(3)\tag3 E = \frac12(y – a_5)^2 E=21​(y−a5​)2(3) 其中,(x,y)(x,y)(x,y) 是训练样本、a1=xa_1=xa1​=x,wiw_iwi​ 的初始值随机赋予,而 a