由于人体运动的复杂性，人体运动轨迹的快速改变和人体自遮挡现象经常发生，这给人体运动跟踪带来了很大的困难。针对此问题提出了一种基于三维Kalman滤波器和人体约束的人体运动跟踪算法。该算法首先利用外极线约束和灰度互相关法对二维标记点进行立体匹配，计算各个标记点的三维位置，从而构建得到三维标记点；然后利用三维Kalman滤波器对三维标记点进行跟踪；最后利用人体约束检验和修正跟踪结果。实验结果表明，该算法能有效地对复杂人体动作进行跟踪并能从跟踪错误中正确恢复。