Java中文分词

采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。

关于中文分词的常用算法论文 描述了常用的分词技术

中文自动分词算法

中文分词已实现了1、一维线性表2、首字Hash3、双Hash三种词典的存储结构与表现形式。首先来看一下词典结构的接口Interface：java代码

Go中文分词库，支持中英文，混合词组，自定义字典。

ChineseSplitter中文分词系统集成了单字（一元切分）、双字（二元切分）、词义切分等分词方法。提供很好的权重计算办法。

ICTCLAS开源系统中科院的可以直接调用

搜狗中文分词词汇，搜狗中文分词词汇适合coreseek分词

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。

实现中文分词，并对结果进行统计，是用IKAnalyzer实现的，很不错！