针对实时、大词汇集、连续的手语视频高效准确地识别,提出了一种基于压缩感知与加速稳健特征(SURF)的手语关键帧提取算法。利用压缩感知将手语视频降维成低维多尺度帧图像特征,通过自适应阈值完成子镜头分割,以处理大量的手语帧数据;运用SURF特征点完成特征匹配,绘制其间的相似度曲线进而提取关键帧。在前期预处理阶段,采用基于HSV空间自适应颜色检测提取手势区域。实验验证,由本文算法提取到的关键帧具有较高的准确性,且算法具备处理大量复杂数据的能力。