最近,自监督学习方法在计算机视觉领域获得了越来越多的关注。在自然语言处理(NLP)中,自监督学习和transformer已经是选择的方法。最近的文献表明,transformers或某种协同监督(例如在教师网络方面)进行预训练时效果很好。这些监督的预训练的视觉变换器在下游任务获得了了非常好的结果,而只需要较小的模型改变。