基于视觉的人体运动分析是计算机领域中备受关注的前沿方向之一，而人行为理解由于在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景更是成为了未来研究的前瞻性方向之一。行为理解问题一般遵从如下基本过程：特征提取与运动表征；行为识别；高层行为与场景理解。着重从这三个方面逐一回顾了近年来人行为理解研究的发展现状和常用方法，并对当前该研究方向上亟待解决的问题和未来趋势作了较为详细的分析。