1.集成学习简介 一个牛逼的算法和10个简单的算法比,后者更好一点。 所以在解决过拟合和欠拟合问题的时候,使用boosting 和bagging 的方法。 欠拟合问题解决:弱弱组合变强 boosting 过拟合问题解决:相互牵制变壮 bagging 2. Bagging bagging集成过程 采样:从所有样本中又放回的采样一部分特征 学习:训练弱n个学习器 集成:平权投票n 个若学习器 随机森林 定义:随机森林 = Bagging + 决策树 流程 在所有样本里选m个数据 在m个数据里选k个特征 训练n 个弱决策树 重复上三条 平权投票 注意:有放回的取出数据。选取的特征远小于所有特征