| 谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展,哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型可与BERT-base甚至其他同等规模的模型相符美,而参数量仅为BERT-base的1 / 10。本项目基于谷歌&斯坦福大学官方的ELECTRA: : 其他相关资源: MacBERT预训练模型: : 中文BERT-wwm预训练模型: : 中文XLNet预训练模型: : 知识蒸馏工具TextBrewer: : 查看更多哈工大讯飞联合实验室(HFL)发布