基于主动轮廓的跟踪方法被广泛应用于移动摄像机下运动物体轮廓的跟踪. 针对传统方法容易受噪音、部分遮挡、背景干扰等因素影响的缺点, 本文提出了一个分层的基于水平集(level sets)的跟踪框架. 该框架将颜色信息和形状先验有效地结合起来. 在框架的第一层, 初始轮廓先根据颜色信息进化, 通过引入一个反映邻域像素之间关系的惩罚因子来改进传统的速度模型. 然后, 基于Mahalanobis距离的判别式被用来决定是否需要引入形状先验, 如果不需要, 则第一层基于颜色进化的结果就作为最终的跟踪结果;否则, 第一层得到的轮廓需要在第二层中在形状先验的约束下继续进化. 在第二层轮廓进化中, 本文提出了一个权重形状距离因子(WSDT)用来融合全局的形状信息和局部的颜色信息. 形状先验模型建立在主成分分析(PCA)子空间并通过增量学习算法在线更新. 实验结果证明了我们方法的有效性和鲁棒性.