与传统光学相机相比，能同步获取RGB图像和深度图像数据，对人体行为识别提供了新的解决方案。因此，分别对RGB和深度图像序列提取改进的时空兴趣点特征，并基于一定规则实现时空兴趣点特征的融合。由于融合后特征的冗余性，基于时空聚类的方法，对特征进行优化处理，并采用SVM分类器进行训练和测试。实验结果表明提出的RGB和深度图像特征联合方法的行为识别平均准确率为91%，相对于其他方法取得了更好的识别结果。