Attention Is All You Need.pdf

深度神经网络由与非线性激活交织在一起的参数化线性运算层组成。在诸如多层感知器的基本模型中，线性层对要处理的实例的简单输入向量嵌入进行操作，并通过直接乘以矩阵参数来生成输出向量嵌入。.. 在更复杂的模型

1.由来 在Transformer之前,做翻译的时候,一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型,存在两个问题。 一是RNN存在梯度消失的问题。

网上搜罗到的各种视觉注意程序,大部分效果都还可以。。

Attention机制最早是在视觉图像领域提出来的,应该是在九几年思想就提出来了,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual At

近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的

Feature-basedattentioninvoluntarilyandsimulta

Avisualattentionsystem,inspiredbythebehaviorandtheneuronalarchitectureoftheearlyprimatevisualsystem

总结文档

BiLSTM+Attention网络PyTorch实现 100%能跑通 有训练好的网络结构 有代码 也可自己训练

有关 深度学习，机器学习，nlp的一些学习资料。。。。。