使用离散状态转换训练深度神经网络
深度神经网络已经在各种人工智能任务中实现了迅猛的突破,但是,由于消耗了无法忍受的硬件资源,训练时间和力量,它们却臭名昭著。 旨在减少开销并保持高性能的新兴修剪/二值化方法似乎有望在便携式设备上应用。 但是,即使采用了这些最先进的算法,我们也必须在梯度下降过程中保存全精度权重,而梯度下降过程仍然会导致内存访问和结果计算的大小和功耗瓶颈。 为了解决这一挑战,我们通过引入一个概率投影算子来提出一个统一的离散状态转换(DST)框架,该概率投影算子在整个训练过程中以状态数量可配置的方式约束离散权重空间(DWS)中的权重矩阵。 在包括MNIST,CIFAR10和SVHN在内的各种数据集上的实验结果表明了该框架的有效性。 离散状态之间的直接转换显着节省了用于以全精度存储权重的内存,并简化了权重更新的计算。 提议的DST框架是硬件友好的,因为它可以很容易地由各种新兴的便携式设备实现,包括二进制,三元和多层存储设备。 这项工作为在不久的将来在各种便携式设备上进行片上学习铺平了道路。
用户评论
推荐下载
-
BP神经网络训练非线性拟合
这是BP神经网络训练用于非线性拟合的MATLAB源代码,请大家参考!!!
13 2020-06-01 -
Caffe训练神经网络配置文件
用于学习caffe的配置文件,其中包含三个主要配置文件。稍微修改即可运行
35 2019-01-17 -
神经网络训练素材train.zip
神经网络训练素材(train.zip)
14 2020-06-12 -
BP神经网络训练过程详细
BP神经网络训练步骤 PPT
31 2019-02-19 -
粒子群优化算法训练神经网络
Thisadd-intothePSOResearchtoolbox(Evers2009)aimstoallowanartificialneuralnetwork(ANNorsimplyNN)tobet
36 2019-05-15 -
训练BP神经网络拟合函数曲线
文件中包含有BP神经网络拟合曲线函数实例的matlab代码,word文档一份内容为作业,一份内容为答案.
25 2019-04-14 -
神经网络识别数字训练集
5000个手写数字组成的训练集,是由20*20灰度图按列展开得到的,用于训练神经网络进行数字识别
49 2019-07-17 -
基于LM算法的神经网络训练
MATLAB源代码,基于LM算法的神经网络训练程序,比传统BP算法快20倍以上
33 2019-05-03 -
BP神经网络训练算法Matlab代码
结合网络大神分享,亲自调试过的BP神经网络训练算法,基于matlab语言实现;
47 2019-05-01 -
Keras预训练神经网络权重文件
包括以下六个神经网络在Imagenet上训练的网络参数,VGG16,VGG19,xception, inception_v3, inception_resent_v2, resnet50
52 2019-04-07
暂无评论