CatBoost 工作原理 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

CatBoost 工作原理

CatBoost 实现了传统的梯度提升决策树 (GBDT) 算法,并增加了两个关键的算法进步:

  1. 实施了有序提升,这是对经典算法的以排列驱动的替代方案

  2. 用于处理分类特征的创新算法

这两种技术都是为了对抗由一种特殊目标泄漏所引起的预测偏移,这种偏移存在于梯度提升算法的所有现有实施中。

该 CatBoost 算法在机器学习竞赛中表现良好,因为它可以强大的处理各种数据类型、关系、分布以及您可以微调的超参数的多样性。 CatBoost 可用于回归、分类(二进制和多类)和排名问题。

有关梯度提升的更多信息,请参阅 SageMaker XGBoost算法的工作原理。有关该 CatBoost 方法中使用的附加内容GOSS和EFB技术的深入详细信息,请参阅 CatBoost:使用分类特征进行无偏提升