Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅
中国的 Amazon Web Services 服务入门
(PDF)。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
SageMaker XGBoost算法的工作原理
XGBoost是梯度提升树算法的一种流行且高效的开源实现。梯度提升是一种指导式学习算法,它尝试将一组较简单、较弱的模型的估计值结合在一起,从而准确地预测目标变量。
使用梯度提升进行回归时,弱学习者是回归树,每棵回归树都将一个输入数据点映射到其中一个包含连续分数的叶子。XGBoost最小化正则化(L1 和 L2)目标函数,该函数结合了凸损失函数(基于预测输出和目标输出之间的差异)和模型复杂度的惩罚项(换句话说,回归树函数)。训练以迭代的方式进行,从而添加新树来预测先前树的残差或错误,然后再与先前树结合,做出最后的预测。这称为梯度提升,因为它使用梯度下降算法来最小化添加新模型时的损失。
下面是关于梯度树提升工作原理的简要说明。
有关更多详细信息XGBoost,请参阅: