针对视觉跟踪过程中因目标尺度变化导致跟踪精度低的问题进行了研究，提出一种基于时空模型的尺度自适应视觉跟踪算法（spatio-temporalcontext-scaleadaptive，STC-SA）。在颜色属性空间下提取目标颜色直方图特征；再通过时空上下文学习获取置信图中概率最大位置；最后利用颜色直方图进行相似度匹配并根据自适应方法修正跟踪框尺寸以达到最佳的跟踪效果。实验选取Benchmark中五组具有明显尺度变化的图像序列进行测试，STC-SA算法的跟踪成功率最高达到91%，验证了STC-SA算法具有较高的跟踪精度和跟踪实时性。