针对原始MeanShift算法易受光照强度影响及跟踪窗口不随目标尺度自适应变化的问题，提出了一种光照和尺度自适应的MeanShift人脸跟踪算法。该算法将颜色特征与光照不变性特征局部二值模式结合起来共同表征人脸，增强了复杂背景下目标的跟踪性能，利用矩特征和巴氏系数估计目标的真实尺度，提高了人脸发生较大形变时的适应能力。实验结果表明，提出的算法比传统的基于颜色直方图的MeanShift算法具有更准确的跟踪结果。