byteps:用于分布式DNN培训的高性能通用框架 源码

字节PS BytePS是一种高性能的通用分布式培训框架。 它支持TensorFlow,Keras,PyTorch和MXNet,并且可以在TCP或RDMA网络上运行。 BytePS在很大程度上优于现有的开源分布式培训框架。 例如,在进行BERT大型训练时,BytePS可以使用256个GPU(参见下文)实现约90%的缩放效率,这比 + 高得多。 在某些情况下,与Horovod + NCCL相比,BytePS可使训练速度提高一倍。 新闻 已被OSDI'20接受。 提供重现端到端评估的代码。 支持。 修复了TF2 +独立keras的兼容性问题 添加对tensorflow.keras的支持 提高