统计词性总量的程序

统计思维-程序员数学之概率统计.pdf

英文分词语料库，共有198796行，每个单词都有词性标注，对句话的结束都有句号，便于处理。覆盖大部分主流行业的语料。例如：Newsweek/NNP,/,trying/VBGto/TOkee

词性标注按照国家语委词性标注集，编码为utf-8，未进行分句。

介绍了词性标注系统的设计与实现,描述了该系统的功能和总体结构,系统的各模块及其功能,系统所使用 的兼类词典、非兼类词典、词性标注集,最后对系统的总体性能进行测试并对测试结果进行了分析。

词性标注词典，Access数据库，中文信息处理课编写分词程序可以用到

Java语言开发带词性的中文分词，支持快速启动模式，最准确模式和数据挖掘模式，另外需要一个util.jar工具包，在我共享资源里有下载，程序代码本人未能严格考虑其性能，但现在改进后感觉还算满意，如果下

中文词性标注学习训练算法，绝对可以运行，具有极高的参考价值~

文件说明： raw_data.txt //原始数据集（语料库） handle.py //因为原始数据集很大，可以通过handle.py对去全量数据集进行处理，得到小的数据集 hmm1.py //隐马模

词性标注@人民日报199801nlp自然语言处理。。。。。。

data.txt是词性分类文本，本文档包含16254个字与词语，（词性标注由国家语委现代汉语语料库 下载，默认为Excel，这里提取为txt）为深度学习中的词性标注提供便利。