该代码提供完整的词法分析功能，俺要求提供文本形式的源文件，即可通过该程序得到完整的词法分析结果。