针对自然图像内容结构复杂、难以区分的实际情况,提出了一种基于多任务学习的自然图像分类方法。通过额外任务来辅助主任务的学习,构造了衡量任务间相关性大小的相关性矩阵,提出了主任务联合额外任务共同决策的学习模式;通过额外任务与主任务的相关性来控制额外任务参与主任务决策的程度,以提高主任务的分类准确率。实验结果表明,与传统的单任务学习相比,尤其是在已知样本较少的情况下,多任务学习机制能够明显地改善分类器的泛化性能。