神经网络的原理和BP算法

神经网络,中间我们假设有一个合适的θ矩阵,来完成我们的前向传播,那么我们如何来选择θ呢?开始我们的讨论内容,构造一个神经网络,使用反向传播求解θ。神经网络模型:说明:L:神经网络层数Sl:第l层神经元个数K:输出的多分类情况中的分类数 这时候,要求一个好的神经网络就要对所有的边权θ进行优化,这时候我们想到的是损失函数和梯度 下降。图中,我们看出神经网络的代价函数是逻辑回归代价函数的一种普遍化表达,我们可以理解为有多个 逻辑回归单元。所以,如果是二分类问题代价函数是逻辑回归的代价函数形式,如果是多分类,就需 要把每个分类的代价都算进总代价。同样,式子二中的正