StateoftheArt in Visual Attention Modeling.docx

attention is all you need 讲解PPT 附带注释

谷歌提出的Transformer结构

知识蒸馏是通过设计的损失函数将教师网络学到的有效知识转移到学生网络中帮助学生网络以更低的计算成本获得更好的性能.但是当学生网络和教师网络在结构和计算量上存在很大差异时以前的知识蒸馏方法很难有效提高学生

An Attention based Recurrent Convolutional Network for Vehicle Taillight Recognition这是2019年的一篇前车尾灯识别

Attention层能够为不同任务定义不同的注意力分数计算方法，本文分享了手动实现Attention层的方法，包括计算注意力权重、加权平均等步骤。同时提供了一些常见的应用场景和注意事项。

The code does not need to be changed. You only need to configure the environment and install the cor

Deep Learning 24-Attention.pdf

Deep Learning 24-Attention.key

Attention机制基本原理是自己在学习Attention机制中的理解.

斯坦福-李飞飞《Attention and Transformer》总结