NCCL是NvidiaCollectivemulti-GPUCommunicationLibrary的简称，它是一个实现多GPU的collectivecommunication通信（all-gather,reduce,broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。