XGBoost 算法原理

一、简介 XGBoost(eXtreme Gradient Boosting)是GBDT(Gradient Boosting Decision Tree)的一种实现。GBDT又是提升树(Boosting Tree)的一种优化模型。Boosting则是集成学习的一种算法。 1.1 梯度提升树(Gradient Boosting Decison Tree, GBDT) 之前提到的 Bagging 的思想比较简单,即每一次从原始数据中根据均匀概率分布有放回的抽取和原始数据大小相同的样本集合,样本点可能出现重复,然后对每一次产生的训练集构造一个分类器,再对分类器进行组合。 Boosting的每一次抽