针对图像的低层视觉特征和高层语义特征之间的鸿沟，利用一个多输出的BP神经网络，分析低层视觉特征，提取图像的主要颜色、灰度共生矩阵和7个不变矩向量作为网络的输入，用语义期望值作为网络的输出，并用加入动量因子和自适应学习率的BP算法来训练该网络。训练完成后，该网络能够对自然图像进行多种语义分类，从而建立起了从低层视觉特征到语义特征之间的映射。改进的BP算法提高了训练的速度和可靠性，实验证明，该方法取得了较好的检索查全率和准确率。