针对SURF对图像局部特征具有极好的描述能力，但对于全局特征描述能力不强的缺点，提出将SURF和全局颜色特征相融合的图像分类算法，提取图像的SURF特征向量集，并利用随机直方图算法将该向量集进行数据归约成单一高维特征向量；提取图像HSV颜色直方图;分别利用支持向量机（SVM）对这两种特征进行分类;将两个分类结果进行高层特征融合得到最终分类结果。实验结果表明，该算法显著提高了图像分类的准确率。