中文分词 本项目为中文分词任务baseline的代码实现,模型包括 BiLSTM-CRF 基于BERT的+ X(softmax / CRF / BiLSTM + CRF) 罗伯塔+ X(softmax / CRF / BiLSTM + CRF) 本项目是的项目。 数据集 数据集第二届中文分词任务中的北京大学数据集。 模型 本项目实现了中文分词任务的baseline模型,对应路径分别为: BiLSTM-CRF BERT-Softmax BERT-CRF BERT-LSTM-CRF 其中,根据使用的预训练模型的不同,BERT-base-X模型可转换为Roberta-X模型。 要求 此仓库已在Python 3.6+和PyTorch 1.5.1上进行了测试。 主要要求是: tqdm scikit学习 火炬> = 1.5.1 :hugging_face: 变压器== 2.2.2 要解决环境问题,请运行: