针对实时性和鲁棒性要求比较高的海关卡口车辆视频监控问题，提出了一种基于改进的均值漂移算法和粒子滤波算法的两步跟踪算法。对海关车辆监控的目标图像采用YCbCr颜色空间建立初始帧目标模型，利用改进后的均值漂移算法找出候选目标，在跟踪相似度小于设定的阈值时再利用改进后的粒子滤波算法进行后续的跟踪。通过实验分析，验证了提出的算法既能保证均值漂移算法跟踪的实时性，也能保证粒子滤波算法跟踪的鲁棒性，具有较好的应用价值。