针对传统“视觉词包模型”在进行铁路扣件检测时忽略图像结构而导致的区分能力不强的问题，提出一种基于信息熵加权词包模型的扣件检测模型EW_BOW。在传统“视觉词包模型”的基础上，引入信息熵对扣件图像局部区域的词包模型的词频进行加权处理，加强词包模型对不同类别扣件的区分性，并利用潜在狄利克雷分布学习扣件图像的主题分布。最后，采用支持向量机对扣件进行分类识别。对四类扣件图像的分类实验证明该模型能够有效提高扣件分类精确度。