前向神经网络feed forward neural networks的训练速度比人们所期望的速度要慢很多.并且在过去的几十年中前向神经网络在应用领域存在着很大的瓶颈.导致这一现状的两个关键因素就是神经网络的训练大多使用基于梯度的算法而这种算法的训练速度有限使用这种训练算法在迭代时网络的所有参数都要进行更新调整.