构建视觉词典是BOVW模型中关键的一个步骤，目前大多数视觉词典是基于K-means聚类方式构建。然而由于K-means聚类的局限性以及样本空间结构的复杂性与高维性，这种方式构建的视觉词典往往区分性能较差。在谱聚类的框架下，提出一种区分性能更强的视觉词典学习算法，为了减少特征在量化过程中区分性能的降低以及谱聚类固有的存储计算问题，算法根据训练样本的类别标签对训练数据进行划分，基于Nystr?m谱聚类得到各子样本数据集的中心并得到最终的视觉词典。在Scene-15数据集上的实验结果验证了算法的正确性和有效性。特别当训练样本有限时，采用该算法生成的视觉词典性能较优。