主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。Transformer是一个新的、简单的网络架构，它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表明，我们的模型在质量上更好，同时具有更高的并行性，且训练所需要的时间更少。Transformer在WMT2014英语-德语的翻译任务上取得了28.4的BLEU评分。在现有的表现最好模型的基础上，包括整合模型，提高了2个BLEU评分。在WMT2014英语-德语的翻译任务上，我们的模型在8个GPU上训练了3.5天，创造了单模型的SOTA结果，BLEU分数为41.8。Transformer能很好的适应于其它任务。