词性标注@人民日报199801

在Python编程中，词性标注是自然语言处理中常见的任务之一。HMM(pos).py是一个可以实现词性标注的Python脚本，它采用了隐马尔可夫模型（HMM）来对文本进行处理和分析。该脚本提供了一种简

词性标注按照国家语委词性标注集，编码为utf-8，未进行分句。

介绍了词性标注系统的设计与实现,描述了该系统的功能和总体结构,系统的各模块及其功能,系统所使用 的兼类词典、非兼类词典、词性标注集,最后对系统的总体性能进行测试并对测试结果进行了分析。

人民日报统计出来的用于自然语言处理的中文词典

词性标注词典，Access数据库，中文信息处理课编写分词程序可以用到

是进行英文语言处理的必备工具。可以对英文语料进行词性标注，还可识别出名词性短语、命名实体，其正确性高达95%以上，是自然语言处理专业学生的不可或少的工具。

中文词性标注学习训练算法，绝对可以运行，具有极高的参考价值~

文件说明： raw_data.txt //原始数据集（语料库） handle.py //因为原始数据集很大，可以通过handle.py对去全量数据集进行处理，得到小的数据集 hmm1.py //隐马模

词性标注软件需要的模型文件，详细请见http://hi.baidu.com/finallyliuyu/modify/blog/5c2ce7f09ce3135d352accc7

英文分词语料库，共有198796行，每个单词都有词性标注，对句话的结束都有句号，便于处理。覆盖大部分主流行业的语料。例如：Newsweek/NNP,/,trying/VBGto/TOkee