针对在视频序列图像目标跟踪中，跟踪目标尺寸和跟踪目标相对背景运动的方位角都在实时变化，常规目标跟踪算法会引起尺度和方向定位偏差，导致跟踪漂移，甚至跟踪失败问题，提出鲁棒的目标尺度和方向自适应的跟踪方法。在Kalman滤波框架下，通过将运动目标的最小外接矩形信息转化为Kalman滤波参数，对目标运动进行建模。采用基于最小外接矩形的两步块匹配搜索方式实现对目标的中心定位，然后采用增量式搜索匹配方法根据最优尺度和角度的判别条件修正目标尺度和方向角度。通过动态评估不同目标模型在不同跟踪场景中的置信度，对目标模型进行动态更新。使用公用视频图像序列测试，实验结果验证了该方法的有效性。