针对单固定摄像头的视频监控系统对合并遮挡目标跟踪效果不好导致跟踪失败的问题，提出了一个稀疏多目标跟踪框架。该框架对系统的目标的合并遮挡和跟踪滤波这两个部分作了改进。系统由运动目标检测、关联矩阵建立、目标交互处理和滤波四部分组成。首先提取前景区域并建立关联矩阵；然后用关联矩阵判断各目标运动状态并进行相应处理，当目标发生交互时，用TLD算法跟踪，为了提高TLD的跟踪效率和减少TLD的初始化异常情况，用双三次插值对目标和跟踪窗口进行同比例缩放；最后用分数阶卡尔曼滤波对跟踪结果进行滤波。实验结果证明，该框架能有效提高单固定摄像头对目标交互遮挡情况的处理能力。