传统人体动作识别分类器对异常值比较敏感，容易受固有噪声影响，这会导致严重的类失衡问题，所以相似的人体行为可能存在很大类内差异。提出一种基于能量的最小二乘双分界面支持向量机（ELS-TSVM）的人体动作识别算法。ELS-TSVM是LS-TSVM的有效改进，采用两个超平面，每个超平面引进能量参数来减少噪声和异常值的影响。首先对于输入的视频使用梯度方向直方图特征和光流直方图特征识别人体动作；然后检测可能的兴趣点，生成时空特征后提取时空视觉词袋特征，通过构建一组视觉词袋来完成特征提取；最后，利用ELS-TSVM完成分类。在Weizmann和Hollywood数据库上的实验验证了该算法的有效性及可靠性，