针对有砟轨道扣件缺失问题，提出了基于fastPCA和bagofwords的两级分类扣件图像缺失识别算法。考虑到算法的可移植性和拍摄角度的不同，图像中钢轨和轨枕的方向并不一定是垂直的，单扣件定位识别具有局限性，提出采用双扣件图像作为样本。通过第一级分类器判断扣件是否缺失，进而得到扣件的具体位置。通过第二级分类器判断缺失扣件的类型，进一步得到扣件缺失的数目。该识别算法可达到较好的识别效果，有效地解决了拍摄角度不同的情况下有砟轨道缺失扣件的检测问题。