2021 GAIIC Track1 idea:全球人工智能技术创新大赛【赛道一】 源码

2021-GAIIC-Track1-idea 非常荣幸能够拿到本周周星星,目前线上分数是5折nezha-base模型融合得到,采用pretrian + finetuning,具体细节如下: 预训练 由于数据是脱敏,所以直接从头开始训练bert模型,没有加载已有的预训练模型权重,模型采用的是nezha-base,代码参考; mask方法:采用ngram mask方法,以及动态mask方法,具体可以参考: 预训练代码使用的是tansformers模块自带的,具体可以参考; 预训练参数:lr = 1e-4,batchSize = 128,seql_length = 128,动态批次长度,最终mlm损失为0.3左右 微调 k折:采用的multilabel进行划分,交替k = 5 模型:nezha模型微调,并直接使用CLS进行分类,采用S形 损失;二分类交叉熵损失函数 对抗:加入对抗训练,使用的