该编译器可以实现词法分析等词法分析程序的功能是从源程序中读入一个个字符，依据一定的构词规则，识别出各类有用的单词。单词是程序设计语言中具有独立意义的最小单位。单词按类别可分为5类：关键字，标识符，常数，界符，运算符等。关键字对每种语言来说是固定的，Sample语言定义了27个关键字，如果这些关键字不能用作其它用途，则又称为保留字；标识符主要用来定义程序中自定义的对象的名字，它按一定的规则构成，Sample语言的标识符的构成规则是“以字母开头，后跟任意个字母数字的符号串”；常数分为为整数、布尔常数（true和false）、字符常数（用单引号括起来）、常数标识符和实数几类；界符分为单界符和双界符，单界符是由单个的分界符构成的单词，双界符由两个分界符构成；运算符是只