在全景视频目标跟踪过程中,由于光照条件变化复杂和目标相对镜头运动时尺度变化剧烈,目标跟踪算法存在精度低和适用性差等问题。为了解决这个问题,提出了一种基于改进SiameseRPN的全景视频目标跟踪算法。首先采用MobileNetV3中的网络结构提取深度特征,使算法对全景视频序列中出现的场景缺陷有更好的适应性,并利用Squeeze and Excite模块增加网络对特征选择的敏感度。提出并构建了一种基于双线性插值的特征融合模块,运用双线性插值的方法使输出的后三层深度特征具有相同尺度,并融合这三层特征以用于网络预测。最后利用分类分支预测出当前序列中的正负样本,利用回归分支预测当前输出目标的位置信息和尺度信息,最终输出目标的位置信息。实验结果表明:所提算法可以有效地解决全景数据中的局部图像质量欠佳和尺度变化的问题,在保持实时跟踪性能的同时,具有较高的跟踪精度,对目标跟踪中出现的小目标、目标遮挡及多目标交叉运动等情况表现出良好的适应性,具有良好的视觉效果和较高的跟踪得分。