随机梯度下降SGD算法原理和实现

backpropagation backpropagation解决的核心问题损失函数c与w,b求偏导,(c为cost(w,b)) 整体来说,分两步 1.z=w*a’+b 2.a=sigmoid(z) 其中,a’表示上一层的输出值,a表示当前该层的输出值 1,输入x,正向的更新一遍所有的a值就都有了, 2,计算输出层的delta=(y-a)点乘sigmoid(z)函数对z的偏导数 3,计算输出层之前层的误差delta,该delta即为损失函数对b的偏导数, 4,然后根据公式4,求出对w的偏导数 公式推导详解 import numpy as np import random class Netwo