为了有效地表征行为，提出了一种基于姿态转换网络的行为识别算法。首先对人体进行自动定位，并对人体区域进行形状与运动特征提取；然后对特征进行层次聚类，构建姿态二叉树，并将运动序列表示为姿态序列后，将其表征为姿态转换网络的权重；最后利用K近邻的方法对行为进行分类识别。实验结果表明，该算法对动态嘈杂背景、人体执行行为速度的快慢具有一定程度的鲁棒性。该算法在两个公用数据库上获得了较好的结果，验证了其有效性。