一个自己实现的词法分析器,代码并不长,可以用来借鉴。