XGBoost 的工作原理 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

XGBoost 的工作原理

XGBoost 是梯度提升树算法的一种流行且高效的开源实施。梯度提升是一种指导式学习算法,它尝试将一组较简单、较弱的模型的估计值结合在一起,从而准确地预测目标变量。

当将梯度提升用于回归时,弱学习器是回归树,每个回归树将输入数据点映射到一个包含连续分数的叶中。XGBoost 最小化一个正则化 (L1 和 L2) 目标函数 (根据预测和目标输出的差异),该函数将凸损失函数和模型复杂度的惩罚项 (换言之,回归树函数) 组合起来。训练以迭代的方式进行,从而添加新树来预测先前树的残差或错误,然后再与先前树结合,做出最后的预测。这称为梯度提升,因为它使用梯度下降算法来最小化添加新模型时的损失。

下面简要说明了梯度树嵌入的工作原理。

有关 XGBoost 的更多详细信息,请参阅: