针对视频图像中人脸定位跟踪的问题，提出了基于Hausdorff距离和改进ASM的跟踪方法。由于Hausdorff距离多模板匹配的复杂性，采用ASM的人脸模型作为模板大大降低了模型维数；并对传统的ASM算法进行了改进，利用DCT进行去相关和能量集中，充分利用特征点附近的二维纹理信息代替传统ASM的一维灰度信息，提高了定位速度和精度。实验证明该方法在视频图像人脸跟踪中是非常有效的。