分布式点积 基于MPI的点积注意力分布的PyTorch实施 概述 该软件包为大多数Transformer模型和非本地块中的点积注意力运算符所涉及的主要线性运算提供了多GPU,运算符级别的分布式实现。 , 和。 此实现基于单批时间相关线性产品的Multi-GPU分发中介绍的操作员级分发框架,该框架上有大量输入 大小 分配到 GPU,每个输入 大小 。 该软件包为“操作员提供了一个分布式实现。 此外,它提供了每个及其的分布式实现。 所有实现都基于和并且需要和 。 依存关系 为了使用此软件包,您将需要最新版本的PyTorch和Horovod。 我们建议使用Anaconda Python发行版和