这是什么? 这是日语令牌生成器(AKA令牌生成器)的简单python包装器 该项目旨在调用令牌生成器,并将句子尽可能容易地拆分为令牌。 并且,该项目支持各种Tokenization工具的通用接口。 因此,比较各种标记器的输出很容易。 也有此项目。 如果发现任何错误,请向github问题报告。 或任何拉请求是欢迎的! 要求 Python 2.7 Python 3.x 在3.5、3.6、3.7中签入 产品特点 各种令牌生成器之间的简单/通用接口 简单/通用接口,用于使用停用词或词性条件进行过滤 添加用户词典的简单界面(仅限Mecab) 支持的分词器 麦卡布 是适用于各种语言的开源令牌生成