扩展目标跟踪与传统目标跟踪不同，不仅需要对目标的运动状态进行跟踪，同时对于目标的外形特征也不能忽略。针对扩展目标跟踪过程中存在的外形拟合和非线性的问题，提出一种基于星凸随机超曲面模型（RHM）的扩展目标序贯蒙特卡洛概率假设密度滤波（SMC-PHD）算法。该算法运用星凸RHM对扩展目标量测源建模，在SMC-PHD的框架下，推导出非线性滤波算法的量测似然表达式和更新方程，实现扩展目标跟踪。仿真结果证明，所提算法的跟踪性能较其他滤波对于目标扩散程度和质心估计均有提高。