集成学习常见概念的优缺点总结

如大家所知集成学习是一种利用多个基础模型来构建更加准确、稳定的预测模型的机器学习技术。集成学习的基本思想是将多个模型组合起来通过集体决策来提高模型的预测性能。它能够有效地降低单个模型的过拟合风险提高模型的泛化性能。集成学习常见概念的优缺点总结Bagging VS Boosting* Bagging* 主要关注降低方差在不容易受样本扰动的学习器上的效用更明显* 可以有效地缓解过拟合问题但它对于噪声数据的容忍度较低* Boosting* 更多地关注如何减小模型的偏差* 可以提高模型的泛化能力但容易受到噪声数据的干扰GDBT VS XGBoost* GBDT 只用到了损失函数的一阶导XGboost 用到了损失函数的二次导效果会更好* XGBoost 加入了一个正则化项包含了叶子节点的个数和各个叶子节点输出值的平方之和* XGBoost 引入了列抽样能够降低过拟合的风险也减少了计算量* 当遇到负增益时GBDT 会马上停止分裂但是 XGBoost 会一致分裂到指定的最大深度然后回来剪枝* XGBoost 引入了并行多线程地计算特征的增益后面的迭代可以重复使用