X射线乳腺影像与自然图像相比，色彩较为单调，且乳腺肿块边缘模糊，良性肿块与恶性肿块纹理相似，区分度较小。基于卷积深度学习网络提出一种适用于X射线乳腺肿块影像分类的方法，主要贡献如下：（1）提出一种提取乳腺影像多个卷积粒度的特征图的方案，分别使用不同尺寸的卷积核来提取不同粒度的卷积特征图，获得更为丰富的乳腺影像特征；（2）将判别方法嵌入到优化模型中，即设计新的目标函数，对分类误差进行差异化放大，从而加大分类错误的惩罚力度，指导模型向着分类错误最小的方向演进。在公开的乳腺X射线影像数据集上进行训练，通过交叉验证，AUC达到0.712?9，优于最好的乳腺影像分类方法，具有较强的鲁棒性。