Python自然语言处理之切分算法详解

一般来说，一句话肯定包含多个词语，它们互相重叠，具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。不考虑效率的话，完全切分算法其实非常简单。只要遍历文本中的连续序列，查询该序列是否在词典中即可。为此，我们的算法工程师提出了新的匹配规则，双向最长匹配。当单字也相同时，优先返回逆向最长匹配结果具体代码如下：