【神经网络】{6} ——反向传播(学习笔记)

此处开始讲解一个算法来尝试优化神经网络结构的代价函数。 这是一个让代价函数最小化的算法——反向传播算法。 首先来看一下神经网络的代价函数: 要做的就是设法找到参数θ,使得J(θ)取到最小值,为了使用梯度下降法或者其他某种高级优化算法,需要做的就是写一段代码,这段代码获得输入参数θ,并计算J(θ)和这些偏导项: 神经网络里对应的参数Θ_ij^(l)∈R(都是实数)。 为了计算代价函数J(θ),用下面这个公式: 我们大部分时间要重点关注如何计算这些偏导项: 我们从只有一个训练样本的情况开始说起,假设整个训练集只包含一个训练样本,也就是实数对,把这一个训练样本记为(x, y),先粗略看