# Transformer Attention层
self attention层和transformer层的不同
Transformer模型是目前最先进的自然语言处理模型之一，其中的self-attention层和transformer层是非
Transformer中Attention层是否带Conv1D层
Transformer中的Attention层通常不包含Conv1D层，它主要有三个子层组成：自注意力层、残差连接和Layer
Self Attention与Transformer
1.由来 在Transformer之前,做翻译的时候,一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是
网络结构中为什么没有Transformer层只有Attention层
注意力机制（Attention）和Transformer是两个不同的概念，其中Transformer是一种基于注意力机制的神经网
From Attention to Transformer.pptx
From Attention to Transformer.pptx
第二节Attention Transformer
目录1. Seq2seq2. Transformer3. Self-Attention 机制详解4. Positional En
attention_transformer_lecture_11.pdf
斯坦福-李飞飞《Attention and Transformer》总结
Transformer基于attention机制的序列转换模型
主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。Transforme
人工智能学习十六Self Attention和Transformer
Self Attention Attention机Decoder是输出元素和Encoder中的输入元素做attention,说的
手动实现attention层的方法
Attention层能够为不同任务定义不同的注意力分数计算方法，本文分享了手动实现Attention层的方法，包括计算注意力权重