提出了一种基于关键帧识别的多级分类的手语识别方法，该方法采用HDR(多层判别回归)/DTW（动态时间规正）模板匹配多级分类方法。根据手语表达由多帧构成的特点，采用SIFT(尺度不变特征变换)算法定位获取手语词汇的关键帧，并提取其特征向量；根据手语词汇的关键帧采用HDR方法缩小搜索范围，然后采用DTW比较待识别的手语词特征与该范围内每一个手语词进行匹配比较,计算概率最大的为识别结果。这种方法在相同识别率的情况下比HMM识别方法速度提高近8.2%,解决了模板匹配法在大词汇量面前识别率快速下降的问题。