GXNOR Net:在统一离散化框架下通过三元权重和激活来训练深层神经网络而无需完整的内存

尽管深度神经网络(DNN)是打开AI时代的革命力量,但是众所周知,巨大的硬件开销挑战了它们的应用。 最近,几个二进制和三进制网络(其中昂贵的乘法累加运算可以被累加或什至二进制逻辑运算代替)使DNN的片上训练非常有前途。 因此,迫切需要建立一种可以将这些网络包含在一个统一的框架中的架构,该架构既可以实现更高的性能,又可以减少开销。 为此,有两个基本问题尚待解决。 第一个是在神经元激活离散时如何实现反向传播。 第二个方法是如何在训练阶段消除精确的隐藏权重,以打破内存/计算消耗的瓶颈。 为了解决第一个问题,我们提出了一种多步神经元激活离散化方法和一种微分逼近技术,可以在离散DNN上实现反向传播算法。 对于第二个问题,我们提出了一种离散状态转换(DST)方法,以在不保存隐藏权重的情况下将权重约束在离散空间中。 通过这种方式,我们构建了一个统一的框架,该框架将二进制或三进制网络作为其特殊情况,并在以下网址上提供了启发式算法:https://github.com/AcrossV/Gated-XNOR。 更具体地说,我们发现,当权重和激活都变为三进制值时,由于仅发生非零权重和非零激活事件,DNN可以