针对现在存在的基于分类的目标跟踪算法难以实现自适应目标大小变化的问题，提出并实现了基于循环核矩阵的自适应目标跟踪算法。算法首先在包含目标的感兴趣区域内采集所有的训练样本以构成一个循环矩阵结构，再使用高斯核函数构造出循环核矩阵，最后通过基于循环核矩阵的分类器的封闭形式的解进行训练和检测。同时，将比较成熟的循环矩阵理论与傅里叶分析建立连接，从而实现了在快速傅里叶变换下进行快速学习和检测。在此基础上，通过分类器对目标响应度的变化，实现自适应目标大小的变化。与一些经典的和较新的自适应目标跟踪算法进行比较，实验结果表明该算法在一定场景下能够更加准确和有效地表达目标的变化。