非官方的PyTorch实现 Kevin Clark的。 Minh-Thang Luong。 Quoc V. Le。 克里斯托弗·曼宁 复制结果 我从头开始对ELECTRA-small进行了预培训,并已在GLUE上成功复制了论文的结果。 模型 可乐 SST MRPC STS QQP MNLI 秦皇岛 RTE 平均的平均值 电子小OWT 56.8 88.3 87.4 86.8 88.3 78.9 87.9 68.5 80.36 ELECTRA-Small-OWT(我) 58.72 88.03 86.04 86.16 88.63 80.4 87.45