基于颜色直方图的传统Mean Shift视频目标跟踪算法，容易受到背景信息的干扰而造成定位偏差。针对此问题，提出了一种基于漂移系数的加权颜色直方图算法。根据核窗口内每个像素提供系数的大小，抑制对漂移贡献小的颜色特征，从而增强目标特征的刻画，并通过抑制背景信息和引入新的目标信息来更新模板。实验结果表明，该算法定位跟踪效果优于背景直方图加权算法，并且迭代次数更少。采用模板更新后，跟踪性能更加稳定。