针对动作识别中如何有效地利用人体运动的三维信息的问题，提出一种新的基于深度视频序列的特征提取和识别方法。该方法首先运用运动能量模型（MEM）来表征人体动态特征，即先将整个深度视频序列投影到三个正交的笛卡尔平面上，再把每个投影面的视频序系列划分为能量均等的子时间序列，分别计算子序列的深度运动图能量，从而得到运动能量模型（MEM）。然后利用局部二值模式（LBP）描述符对运动能量模型编码，进一步提取人体运动的有效信息。最后用l2范数协同表示分类器进行动作分类识别。在MSRAction3D、MSRGesture3D数据库上测试所提方法，实验结果表明该方法有较高的识别效果。