roformer:旋转变压器 源码

旋转变压器 Rotary Transformer,简称RoFormer,是我们自研的语言模型之一,主要是为Transformer结构设计了新的旋转式位置编码(Rotary Position Embedding,RoPE)。RoPE具有良好的理论性质,并且是目前唯一一种可以应用到线性注意的绝对位置编码,目前来看实验结果也颇为不错。 详细介绍: : 依赖 bert4keras 0.10.4 参考配置:在24G显存的3090上,跑maxlen = 1024,batch_size能跑到8以上。 下载 (提取码:xy9x) 引用 Bibtex: @techreport{zhuiyiroformer, title={RoFormer: Transformer with Rotary Position Embeddings - ZhuiyiAI}, author={Jianlin Su}