1.深度卷积神经网络(AlexNet) LeNet: 在大的真实数据集上的表现并不尽如人意。 1.神经网络计算复杂。 2.还没有大量深入研究参数初始化和非凸优化算法等诸多领域。 机器学习的特征提取:手工定义的特征提取函数 神经网络的特征提取:通过学习得到数据的多级表征,并逐级表示越来越抽象的概念或模式。 神经网络发展的限制:数据、硬件 AlexNet 首次证明了学习到的特征可以超越手工设计的特征,从而一举打破计算机视觉研究的前状。 特征: 8层变换,其中有5层卷积和2层全连接隐藏层,以及1个全连接输出层。 将sigmoid激活函数改成了更加简单的ReLU激活函数。 用Dropout来控制全连接