针对传统算法在外界环境及目标运动导致外形变化的影响下跟踪效果不稳定的问题，提出一种鲁棒的多核学习跟踪算法，将Boosting提升方法引入到多核学习框架中，用比传统多核学习算法更少的样本训练，构建出基于互补性特征集和核函数集的弱分类器池，从中将多个单核的弱分类器组合出一个多核的强分类器，从而在出现较强背景干扰、目标被遮挡的情况下仍能正确地对候选图块中的背景和目标进行分类。对不同视频序列的测试结果表明，与同样采用Boosting方法的OAB算法及近年跟踪精度高的LOT算法相比，该算法能够在复杂环境下更准确地跟踪到目标。