针对传统的智能交通系统中违章车辆检测方法实时性差、易受光照变化条件变化制约，影响后续辨别车辆违章和图像取证抓拍的问题，提出了一种基于颜色差分直方图和卡尔曼滤波的鲁棒、快速的违章车辆检测跟踪算法。该算法采用背景模糊匹配思想，选择初始背景图像；利用对环境变化鲁棒的颜色差分直方图算法检测运动目标；对运动目标团块的质心运动状态采用卡尔曼滤波进行跟踪预测，从而在预测的区域内检测同一目标团块；通过判断其质心运动轨迹，达到辨别违章车辆检测与抓拍的目的。通过对真实道路中不同天气条件下的场景进行检测，实验结果表明该算法能够快速而准确地检测违章车辆。