本文共计2268个文字，预计阅读时间需要10分钟。

目录概述：梯度提升树与泛化误差结论，重要参数subsample和eta概述XGBoost，即极端梯度提升。

目录概述梯度提升树方差与泛化误差结论重要参数subsample重要参数eta概述XGBoost全称是eXtremeGradientBoosting可译为

目录

概述

梯度提升树 

方差与泛化误差

结论

重要参数subsample

重要参数eta

---

概述

XGBoost全称是eXtreme Gradient Boosting可译为极限梯度提升算法。它由陈天奇所设计致力于让提升树突破自身的计算极限以实现运算快速性能优秀的工程目标。和传统的梯度提升算法相比XGBoost进行了许多改进 它能够比其他使用梯度提升的集成算法更加快速并且已经被认为是在分类和回归上都拥有超高性能的先进评估器。

梯度提升树 

XGBoost的基础是梯度提升算法因此我们必须先从了解梯度提升算法开始。梯度提升Gradient boosting是构建预测模型的最强大技术之一它是集成算法中提升法Boosting的代表算法。