Predicting human interaction via relative attention model

深度神经网络由与非线性激活交织在一起的参数化线性运算层组成。在诸如多层感知器的基本模型中，线性层对要处理的实例的简单输入向量嵌入进行操作，并通过直接乘以矩阵参数来生成输出向量嵌入。.. 在更复杂的模型

1.由来 在Transformer之前,做翻译的时候,一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型,存在两个问题。 一是RNN存在梯度消失的问题。

网上搜罗到的各种视觉注意程序,大部分效果都还可以。。

Is Attention Interpretable ACL2019l论文原文 有关注意力作为模型可解释性的讨论。

Attention is not Explanation.pdf ACL2019论文原文 注意力可否作为模型的可解释性

Attention is not not Explanation.pdf ACL2019论文原文,反驳论文《Attention is not Explanation》的论文

Attention机制最早是在视觉图像领域提出来的,应该是在九几年思想就提出来了,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual At

近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的

Feature-basedattentioninvoluntarilyandsimulta

Attention Mechanism.pdf