针对经典的粒子滤波视频目标跟踪算法进行粒子传播采用随机游走的方式，以及传统颜色直方图无法反映目标空间特征的问题，提出了一种改进的基于颜色的粒子滤波目标跟踪算法。该算法在统计目标二阶颜色直方图的基础上，获得粒子的观察概率密度函数，利用卡尔曼滤波确定粒子动态传播模型中的确定性漂移部分，使粒子状态估计值分布更精确地趋向目标的概率分布，大大提高了粒子的利用效率。实验表明，该改进算法的性能优于经典基于单一颜色特征的粒子滤波算法。