最近，AlphaGo又带起了一波深度学习的热潮。深度学习在很多领域都大幅提高了模型的精度，使得很多以前在实验室中的技术得以运用到日常的生活之中。然而，大多数深度学习网络非常复杂，需要大量的训练样本进行训练，很多网络需要一次训练，同时额外多次的训练来调参数。时间效率上远远无法满足当前的工业需求。因此需要并行的深度学习系统提高训练速度。各大公司在构建并行深度学习系统上投入了大量的精力，包括谷歌、Facebook、微软、腾讯和百度等等。为了提高算法的并行效率，这些系统大部分使用了多机多GPU的方式。所谓多机，即是大量的机器通过网络连接组成训练集群；多GPU即是集群内部的每台机器上包含多个GPU，通过