提出了一种在单摄像头条件下基于嵌入式系统的手势识别方法。通过拟合手势图的外接多边形，找出其所对应的手势缺陷图，并建立手势与手势缺陷图的一一映射，利用手势缺陷图的特征来匹配和识别不同的手势。算法还将手势的跟踪与识别有机地统一起来，通过预测下一帧中手势出现的粗略位置大大降低识别步骤的计算量。该算法在实际应用的嵌入式平台下，能快速、准确地实现手势的识别，能够满足实时人机交互的要求。