为了当出现目标尺度变化、方向变化、环境光照变化、目标部分遮挡等问题时，使得视觉跟踪算法具有更好的鲁棒性，提出一种结合稀疏编码和空间金字塔模型以及均值漂移的算法。首先扩展经典Meanshift算法使它不仅估计位置空间变化，还估计方向和尺度空间的变化。然后加入像素密度块采样技术和琐碎模板设计方案使直方图匹配更加准确，有效克服光照变化。最后取代原有算法中要么使用整体表示要么使用局部表示目标特征的方法，使得空间金字塔模型与两种表示方法相结合，有效解决目标遮挡等问题。实验表明，该算法实验结果明显优于同类算法，能很好地解决目标尺度变化、环境光照变化、目标部分遮挡等问题。