语音情感识别的精度很大程度上取决于不同情感间的特征差异性。从分析语音的时频特性入手，结合人类的听觉选择性注意机制，提出一种基于语谱特征的语音情感识别算法。算法首先模拟人耳的听觉选择性注意机制，对情感语谱信号进行时域和频域上的分割提取，从而形成语音情感显著图。然后，基于显著图，提出采用Hu不变矩特征、纹理特征和部分语谱特征作为情感识别的主要特征。最后，基于支持向量机算法对语音情感进行识别。在语音情感数据库上的识别实验显示，提出的算法具有较高的语音情感识别率和鲁棒性，尤其对于实用的烦躁情感的识别最为明显。此外，不同情感特征间的主向量分析显示，所选情感特征间的差异性大，实用性强。