qqmotivation28863

受益于在通道或空间位置之间建立相互依存的能力，注意力机制最近已被广泛研究并广泛用于各种计算机视觉任务中。在本文中，我们研究了轻量但有效的注意力机制，并提出了三重注意，这是一种通过使用三分支结构捕获跨维度交互来计算注意权重的新方法。.. 对于输入张量，三元组注意力通过旋转操作和残差变换建立维度间的依存

We propose $\textit{Mish}$, a novel self-regularized non-monotonic activation function which can be mathematically defined as: $f(x)=x\tanh(softplus(x