针对单独的音频和视频信息跟踪的缺陷，提出了一种音视频信息融合的粒子滤波跟踪算法。采用闭环跟踪框架，分为底层跟踪、融合、重要性粒子滤波、跟踪输出和反馈五个环节。底层跟踪环节利用说话人脸部肤色信息进行均值漂移跟踪的同时，利用说话人声音信号到达麦克风阵列的时间延迟进行跟踪定位；融合环节对这两者得到的跟踪信息进行整合，得出基于音视频信息融合的重要性函数和融合似然模型；滤波环节利用重要性粒子滤波算法对融合的数据进行滤波处理；跟踪环节根据滤波结果对说话人进行跟踪；反馈环节将跟踪结果动态反馈给人脸肤色跟踪和声源定位跟踪模块。流程化的闭环处理过程保证了算法的实时性。最后，采用AMI会议语料库对该算法进行测试，