Transformer在Goole的一篇论文被提出,为了方便实现调用TransformerGoogle还开源了一个第三方库,基于TensorFlow的,一个NLP的社区研究者贡献了一个Torch版本的支持:。这里,我想用一些方便理解的方式来一步一步解释Transformer的训练过程,这样即便你没有很深的深度学习知识你也能大概明白其中的原理。我们先把Transformer想象成一个黑匣子,在机器翻译的领域中,这个黑匣子的功能就是输入一种语言然后将它翻译成其他语言。如下图:掀起TheTransformer的盖头,我们看到在这个黑匣子由2个部分组成,一个Encoders和一个Decoders。我们