创建新的单个算法或多算法 HPO 优化作业 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建新的单个算法或多算法 HPO 优化作业

定义作业设置

您的优化作业设置将应用于 HPO 优化作业中的所有算法。仅当优化单个算法时热启动和提前停止才可用。定义作业设置后,您将为要优化的每个算法或变体创建单独的训练定义。

热启动

如果克隆了此作业,则可以选择使用之前优化作业的结果来提高此优化作业的性能。这是热启动功能,只有在优化单个算法时才可用。当您选择该选项时,最多可以选择以前的五个超参数优化作业来使用。或者,您可以使用迁移学习将其他数据添加到父优化作业。选择此选项时,您可以选择以前的一个优化作业作为父作业。

热启动与 2018 年 10 月 1 日之后创建的优化作业兼容。有关更多信息,请参阅运行热启动作业

提前停止

如果训练作业不太可能改善超参数优化作业的当前最佳目标度量,则提前停止会停止训练作业。与热启动一样,此功能仅在优化单个算法时才可用。这是一个没有配置选项的自动功能,默认情况下它处于禁用状态。 

优化策略

优化策略可以是随机的,也可以是贝叶斯优化。它指定自动优化如何在指定的超参数范围内进行搜索。您可以在后面的步骤中指定范围。有关更多信息,请参阅超参数优化的工作原理

训练定义

您必须为每个训练作业至少提供一个训练定义。每个训练定义都指定算法的配置。要为您的训练作业创建多个定义,您可以克隆定义。

Name

为训练定义提供唯一名称。

Permissions

Amazon SageMaker 需要代表您调用其他 服务的权限。选择 IAM 角色或者让 AWS 创建附加 AmazonSageMakerFullAccess IAM 策略的角色。

可选的安全设置

网络隔离设置阻止容器进行任何出站网络调用。这是 AWS Marketplace 机器学习产品所必需的。

您还可以选择使用私有 VPC。

注意

仅当从 API 创建作业定义时,容器间加密才可用。

算法选项

您可以选择其中一种内置算法、您自己的算法、您自己的带算法的容器,也可以从 AWS Marketplace 订阅算法。

如果您选择内置算法,则该算法预填充了 ECR 映像信息。如果您选择自己的容器,则必须指定 ECR 映像信息。您可以为算法选择输入模式作为文件或管道。如果您计划使用 Amazon S3 中的 .CSV 文件提供数据,则应选择该文件。

Metrics

选择内置算法时,系统会为您提供指标。如果您选择自己的算法,则需要定义指标。

目标指标

要找到最佳的训练作业,请设置目标指标和优化类型。训练作业完成后,您可以查看优化作业详细信息页面,了解使用此目标指标找到的最佳训练作业的摘要。

超参数配置

选择内置算法时,将使用针对特定算法优化的范围为您设置超参数的默认值。您可以根据您认为合适的情况更改这些值。您可以通过将参数类型设置为静态来为超参数设置固定值,而不是范围。每个算法都有不同的必需参数和可选参数。有关更多信息,请参阅最佳实践范围

输入数据配置

输入数据由通道定义,每个通道都有自己的源位置(Amazon S3 或 Amazon Elastic File System)、压缩和格式选项。您最多可以定义 20 个输入源通道。如果您选择的算法支持多个输入通道,您也可以指定这些通道。

例如,在使用 流失预测笔记本XGBoost时,您可以添加两个通道:训练和验证。

检查点配置

在训练期间定期生成检查点。您必须选择要保存的检查点的 Amazon S3 位置。检查点用于指标报告,还用于恢复托管型 Spot 训练作业。

输出数据配置

您必须为要存储的训练作业构件定义 Amazon S3 位置。您可以选择使用 AWS Key Management Service (AWS KMS) 密钥向输出添加加密。

资源限制和配置

每个训练定义都可以具有不同的资源配置。您可以选择实例类型和节点数。

完成作业设置

您可以运行并行作业并限制作业总数。并行作业的数量不应超过您在所有训练定义中请求的节点数。作业总数不能超过您的定义预期运行的作业数。