TernGrad:TernaryGradientstoReduceCommunicationinDistributedDeepLearning,NIPS2017,这是作者上传的代码,可运行。TernGrad是一种梯度量化方法,将浮点梯度随机量化到{-1,0,+1},在保证识别率的情况下,大大降低梯度通信量.这篇文章降低了通讯量,可以应用在很多应用上。作者的视频讲解链接:https://www.youtube.com/watch?v=WWWQXTb_69c&feature=youtu.be&t=20s