词法分析是编译程序的第一个处理阶段，可以通过两种途径来构造词法分析程序。其一是根据对语言中各类单词的某种描述或定义（如BNF），用手工的方式构造词法分析程序。例如，可根据文法或状态转换图构造相应的状态矩阵，该状态矩阵同控制程序便组成了编译程序的词法分析程序；也可以根据文法或状态转换图利用某种语言（汇编语言或高级语言）直接编写词法分析程序。