针对高速图像处理系统中相关跟踪核心模块最小绝对差累加和算法（MAD）的实时性问题，利用TMS320C6416（C6416）处理器的内部并行结构，提出了基于该处理器的MAD算法设计方案。通过合理的内存数据存储安排、高效的程序流程设计以及人工优化循环核等技术措施，充分发挥了C6416的并行处理能力，解决了MAD模块耗时过长的难题。实验结果证明，算法能适应模板与搜索区域大小可变的情况，对于64×64的模板与128×128的搜索区域计算耗时仅9ms，大大缩短了处理时间。