简称 该存储库包含代码和Shortformer模型的最终检查点。该文件说明了如何在WikiText-103数据集上运行我们的实验。在阅读全文。 Shortformer是两种方法的组合: 分阶段训练:我们首先在短输入子序列上训练模型,然后在长输入子序列上训练模型。这样既提高了火车速度,又提高了评估的难度。 注入位置的注意力+缓存:我们缓存先前计算的子序列表示形式,并使用注入位置的注意力关注它们。注入位置的注意力会修改模型,从而不会将位置嵌入添加到网络底部的单词嵌入中,而是将它们添加到关注子层中的键和查询中(但不添加到值中)。我们表明,PIA +缓存极大地加快了生成速度,并提高了困惑度。 分阶段训练无需修改原始代码。要查看我们如何实现位置灌输的注意和缓存,请单击 。实施PIA和缓存非常容易,我们在代码中提供了详细的注释,以解释我们如何做到这一点。 如果您使用此代码或我们的论文结果,请引用: