提出一种基于Boosting RBF神经网络的人体行为识别方法，该方法利用规范化的运动历史图像（MHI）进行图像序列表示，从中提取Zernike矩的统计描述特征，然后提出Adaboost算法自适应地选择图像序列的特征作为RBF神经网络的输入，为了进一步提高神经网络的泛化能力，采用一种调整权值分布，限制权重扩张的改进的Boosting方法，分类器以加权投票方式进行分类决策。实验结果表明，提出的方法能够有效地识别人体运动类别。