CRF分词实验

CRF入门文档，比lafferety的文章容易读哦

PocketCRFisamodifiedversionofCRF++,itmaintainsthesimplicityofCRF++andisabletousehighorderfeatures.au

这个是条件随机场的实现软件，可用于自然语言处理

CRF++是一个简单的，可定制的，开源的条件随机场实现（CRF），用于分段/标记连续数据。应用于各种NLP任务，如命名实体识别，信息提取和文本块。

采用LSTM-CRF进行中文实体识别，框架为tensorflow,该版本中的输入词向量是随机生成的并且所有的.py文件中有不容易读懂的地方都进行了注释

命名实体识别代码，解压即可用 # BERT-BiLSTM-CRF BERT-BiLSTM-CRF的Keras版实现 ## BERT配置 1. 首先需要下载Pre-trained的BERT模型，本文用的

CRFTagger:用于英语的条件随机字段词性(POS)标注器。 该模型在WSJ语料库的01..24节中进行了训练,并使用00节作为开发测试集(准确性为97.00%)。 标记速度:500句/秒。

CRFChunker:英语的条件随机字段短语分块(短语分块工具)。 该模型在WSJ语料库的01..24节中进行了训练,并使用00节作为开发测试集(F1分数为95.77)。 分块速度:700句/秒

该代码完整实现了基于bilstm+crf的tensorflow实现,可训练、预测。 ├── Batch.py # 实现batch功能 ├── bilstm_crf.py # 模型定义 ├── data

本代码是在参考了别人代码的基础上进一步修改的，该代码的功能是用Bi-LSTM+CRF进行NER任务，仅供大家参考！