针对属于同一个家族的恶意软件的行为特征具有逻辑相似性这一特点,从行为检测的角度通过追踪API函数调用的逻辑规则来提取恶意软件的特征,并利用静态分析与动态分析相结合的方法来分析恶意行为特征。此外,依据恶意软件家族的目的性、继承性与多样性,构建了恶意软件家族的传递闭包关系,并改进了基于高斯混合模型的增量聚类方法来识别恶意软件家族。实验证明,所提方法不仅能节省恶意软件检测的存储空间,还能显著提高检测的准确率与识别率。