大鸟:变形金刚更长的序列 这不是Google的官方产品。 什么是BigBird? BigBird是一种基于稀疏注意的转换器,它将基于Transformer的模型(例如BERT)扩展到更长的序列。 此外,BigBird还具有对稀疏模型可以处理的完整变压器的功能的理论理解。 由于能够处理更长的上下文,BigBird极大地提高了各种NLP任务(例如问题回答和摘要)的性能。 更多详细信息和比较可以在我们的找到。 引文 如果您觉得这很有用,请引用我们的: @article{zaheer2020bigbird, title={Big bird: Transformers for longer