超参数优化的工作方式 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

超参数优化的工作方式

在随机搜索中,超参数优化从为其启动的每个训练作业的超参数指定的范围内选择一个随机值组合。由于超参数值的选择不依赖于以前训练作业的结果,因此您可以运行最大数量的并发训练作业,而不影响搜索性能。

有关使用随机搜索的示例笔记本,请访问 https://github.com/awslabs/amazon-sagemaker-examples/blob/master/hyperparameter_tuning/xgboost_random_log/hpo_xgboost_random_log.ipynb

贝叶斯搜索

贝叶斯搜索将超参数优化视为 [回归] 问题。给定一组输入特征(超参数),超参数优化会针对您选择的指标来优化模型。为解决递归问题,超参数优化会猜测哪些超参数组合有可能获得最佳结果,然后运行训练作业来测试这些值。在测试了第一组超参数值之后,超参数优化使用回归来选择要测试的下一组超参数值。

超参数优化使用贝叶斯优化的 Amazon SageMaker 实现。

在选择下一个训练作业的最佳超参数时,超参数优化考虑迄今为止所了解到的有关此问题的全部信息。有时,它会选择与导致先前最佳训练作业的组合接近的超参数值组合,以逐步提高性能。这使得超参数优化可以利用最佳的已知结果。其他时候,它会选择一组远离已尝试过的值的超参数值。这使得它可以探索超参数值的范围,以尝试找到新的尚未了解的领域。探索/利用的权衡在许多机器学习问题中都很常见。

有关贝叶斯优化的更多信息,请参阅以下内容:

注意

超参数优化可能不会改进您的模型。这是一种用于生成机器解决方案的高级工具,因此,在科学开发流程中应该予以考虑。

在您生成复杂机器学习系统时,例如深度学习神经网络,探讨所有可能的组合不切实际。超参数优化通过尝试模型的不同变体,重点关注您指定范围内最有可能的超参数值组合,从而提高您的工作效率。要获得良好的结果,您需要选择合适的探索范围。由于算法本身是推测性的,超参数优化模型可能无法收敛到最佳答案,即使最佳值组合在您选择的范围内也是如此。