提出了一种基于颜色的自适应形状模型，并利用该模型实现了图像序列中的实时手势跟踪。跟踪算法基于自适应的颜色模型实现准确的手部轮廓提取，并利用基于二维颜色模型的粒子滤波器实现序列图像中跟踪目标的运动估计。实验结果表明了基于颜色的自适应形状模型对凸形与凹形手部轮廓均能达到准确的手部轮廓提取，并能满足图像序列手势跟踪的实行性要求。