提升方法是将弱学习算法提升为强学习算法的统计学习方法。在分类学习中，提升方法通过反复修改训练数据的权值分布，构建一系列的基本分类器（弱分类器），并将这些基本分类器线性组合，构成强分类器。提升树是建立在决策树上的一种提升方法。针对回归、分类问题，它采用的损失函数不同。对于回归问题，通常使用平方误差损失函数；而对于分类问题，通常使用指数损失函数。代表性的方法主要有AdaBoost算法以及梯度提升树算法（GBDT)。

机器学习的传统分类方法在实例数据集上比较

梯度提升树算法实现