面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。