基于轮廓的识别算法能够很好地处理手势的外观变化，但现有的识别算法在目标旋转和缩放时其识别率和鲁棒性较低，针对这一问题提出了一种基于指尖点和Hu不变矩的手势识别方法。该方法对基于曲率的指尖检测方法进行改进，增强指尖点特征提取的鲁棒性；融合Hu不变矩和指尖点特征，提高手势模型的全局描述性；利用能够自动添加新手势的识别算法，提高算法的实用性。实验表明，该方法在满足实时性的基础上有效地提高了手势识别的准确性和鲁棒性。