删除扩展策略 - Amazon SageMaker
使用预定义的指标使用自定义指标添加冷却时间
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

删除扩展策略

要为扩展策略指定指标和目标值，请配置目标跟踪扩展策略。您可以使用预定义指标或自定义指标。

扩展策略配置由 JSON 块表示。您可以在文本文件中将扩展策略配置保存为 JSON 块。在调用 Amazon CLI 或 Application Auto Scaling API 时，您可以使用该文本文件。有关策略配置语法的更多信息，请参阅 Application Auto Scaling API 参考 中的 TargetTrackingScalingPolicyConfiguration。

可以使用以下选项定义目标跟踪扩展策略配置。

使用预定义的指标

要快速为变体定义目标跟踪扩展策略，请使用 SageMakerVariantInvocationsPerInstance 预定义指标。SageMakerVariantInvocationsPerInstance 是每分钟调用变体各个实例的平均次数。我们强烈建议您使用此指标。

要在扩展策略中使用预定义的指标，请为策略创建一个目标跟踪配置。在目标扩展配置中，包含 PredefinedMetricSpecification 以表示预定义的指标，并包含 TargetValue 以表示该指标的目标值。

以下示例是变体的典型目标跟踪扩展策略配置。在此配置中，我们使用 SageMakerVariantInvocationsPerInstance 预定义指标来调整变体实例数，以便每个实例的 InvocationsPerInstance 指标都为 70。

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    }
}

使用自定义指标

如果您需要定义满足您的自定义要求的目标跟踪扩展策略，请定义自定义指标。您可以根据随扩展成比例变化的任何生产变体指标定义一个自定义指标。

并非所有 SageMaker 指标为目标跟踪而工作。指标必须是有效的使用率指标，它必须描述实例的繁忙程度。指标的值必须随变体实例数按反比例增大或减小。也就是说，当实例数增加时，指标的值应减小。

重要

在生产中部署自动扩展之前，您必须使用自定义指标来测试自动扩展。

以下示例是扩展策略的目标跟踪配置。在此配置中，对于一个名为 my-variant 变体，自定义指标根据所有实例的平均 CPU 利用率 50% 来调整变体。

{
    "TargetValue": 50,
    "CustomizedMetricSpecification":
    {
        "MetricName": "CPUUtilization",
        "Namespace": "/aws/sagemaker/Endpoints",
        "Dimensions": [
            {"Name": "EndpointName", "Value": "my-endpoint" },
            {"Name": "VariantName","Value": "my-variant"}
        ],
        "Statistic": "Average",
        "Unit": "Percent"
    }
}

添加冷却时间

要添加用于扩展模型的冷却时间，请为 ScaleOutCooldown 指定一个值（以秒为单位）。类似地，要添加用于缩减模型的冷却时间，请为 ScaleInCooldown 添加一个值 (以秒为单位)。有关 ScaleInCooldown 和 ScaleOutCooldown 的更多信息，请参阅 Application Auto Scaling API 参考 中的 TargetTrackingScalingPolicyConfiguration。

以下示例是扩展策略的目标跟踪配置示例。在此配置中，SageMakerVariantInvocationsPerInstance预定义指标用于根据平均值调整扩展70在该变体的所有实例中。该配置将缩减冷却时间指定为 10 分钟，并将扩展冷却时间指定为 5 分钟。

{
    "TargetValue": 70.0,
    "PredefinedMetricSpecification":
    {
        "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
    },
    "ScaleInCooldown": 600,
    "ScaleOutCooldown": 300
}