为了克服单模式情感识别存在的局限性,该文以语音信号和面部表情信号为研究对象,提出了一种新型的多模式情感识别算法,实现对喜悦、愤怒、惊奇和悲伤4种人类基本情感的识别。首先,将获取的信号进行预处理并提取情感特征参数,然后利用模糊核聚类算法对其进行聚类分析,即利用Mercer核,将原始空间通过非线性映射到高维特征空间,在高维特征空间中对多模式情感特征进行模糊核聚类分析。由于经过了核函数的映射,使原来没有显现的特征突现出来。实验结果验证了该方法的可行性和有效性。