具有长距离注意的Lite变压器 @inproceedings{Wu2020LiteTransformer, title={Lite Transformer with Long-Short Range Attention}, author={Zhanghao Wu* and Zhijian Liu* and Ji Lin and Yujun Lin and Song Han}, booktitle={International Conference on Learning Representations (ICLR)}, year={2020} } 概述 我们发布了Lite变压器的PyTorch代码。 [|| ]: 权衡曲线的一致改进 节省2万倍的进化变压器搜索成本 18.2倍的进一步压缩变压器 如何使用 先决条件 Python版本> = 3.6 版本> = 1.0.0