DeCLUTR:用于无监督文本表示的深度对比学习 我们论文的相应代码: 。 下面介绍了结果(作为下游和探测任务测试集的平均分数),以及现有的最新方法。 模型 需要带标签的数据吗? 参数 嵌入。 暗淡。 下游(-SNLI) 探测 Δ 是的 38M 4096 76.00 72.58 -3.06 是的 1.47亿 512 78.89 66.70 -0.17 (“ roberta-base-nli-mean-tokens”) 是的 125M 768 77.19 63.22 -1.87 小型变压器( ) 不 82M 768 72.58 74.57 -6.48 基于变压器的() 不 125M 768 72.70 74.19 -6.36 DeCLUTR-small( ) 不 82M 768 77.41 74.71 -1.65 基