针对传统语义分割模型缺乏空间结构信息,无法准确描述对象轮廓的问题,提出了一种基于图像分层树的图像语义分割方法。分层树模型采用结构森林方法生成轮廓模型,为防止过度分割,运用超度量轮廓图算法得到多尺度轮廓图,再利用支持向量机训练多尺度轮廓图生成图像分层树,通过随机森林精炼分层树,最终输出图像语义分割结果。在测试实验中,像素精确度达到82.1%,相比区域选择方法提升了2.7%,并在较难区分的树和山脉的预测精确度上,相比层次标记方法分别提升了16%和25%,具有更高的稳定性。实验结果表明,在复杂的室外环境下,对图像语义分割的精确度、稳定性和速率均有明显改善。