目前说话人聚类时将说话人分割后的语音段作为初始类，直接对这些数量庞大语音段进行聚类的计算量非常大。为了降低说话人聚类时的计算量，提出一种面向说话人聚类的初始类生成方法。提取说话人分割后语音段的特征参数及特征参数的质心，结合层次聚类法和贝叶斯信息准则，对语音段进行具有宽松停止准则的“预聚类”，生成初始类。与直接对说话人分割后的语音段进行聚类的方法相比，该方法能在保持原有聚类性能的情况下，减少40.04%的计算时间；在允许聚类性能略有下降的情形下，减少60.03%以上的计算时间。