为了提高目标外观迅速变化时视觉跟踪算法的鲁棒性，提出了一种基于混合观测模型的粒子滤波跟踪算法。在粒子滤波构架下，使用加权核直方图模型结合meanshift算法对粒子进行初定位，通过正交子空间模型作为精确的观测模型，估计目标的最终状态。这样既能迅速地学习到目标外观变化的趋势，又避免了使用正交子空间而产生的跟踪漂移。实验结果表明，该算法在光照变化、姿态变化、遮挡的情况下，均具有较强的鲁棒性。