编辑扩展策略 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

编辑扩展策略

您可以使用 AWS 管理控制台、AWS CLI 或 Application Auto Scaling API 编辑自动扩展策略。

缩减

如果模型的流量变为零,则 Amazon SageMaker 自动扩展不会缩减。这是因为 SageMaker 不会发出值为零的指标,并且,如果没有指标,则不会触发扩展策略。

作为解决方法,请执行下列操作之一:

  • 向模型变体发送请求,直到自动扩展缩减至最小容量

  • 更改策略以降低最大预配置容量,从而匹配最小预配置容量

禁用缩减活动

您可以禁用缩减活动以禁止目标跟踪扩展策略配置缩减变体。禁用缩减活动将禁止扩展策略删除实例,同时仍允许它根据需要创建副本。

要对模型启用或禁用缩减活动,请为 DisableScaleIn 指定一个布尔值。 有关 DisableScaleIn 的更多信息,请参阅 Application Auto Scaling API 参考TargetTrackingScalingPolicyConfiguration 中的

以下是扩展策略的目标跟踪配置示例,其中扩展策略将扩展而不缩减。在此配置中,SageMakerVariantInvocationsPerInstance 预定义指标将基于模型所在的所有实例上平均 70 次调用(推理请求)进行扩展。该配置还禁用扩展策略的缩减活动。

{ "TargetValue": 70.0, "PredefinedMetricSpecification": { "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance" }, "DisableScaleIn": true }

扩展

要手动进行扩展,请调整最小容量。您可以使用控制台更新此值。或者,将 AWS CLI 与 --min-capacity 参数一起使用,或者使用 Application Auto Scaling API 的 MinCapacity 参数。

禁用扩展活动

要防止扩展,请调整最大容量。您可以使用控制台更新此值。或者,将 AWS CLI 与 --max-capacity 参数一起使用,或者使用 Application Auto Scaling API 的 MaxCapacity 参数。

编辑扩展策略(控制台)

要使用 AWS 管理控制台编辑扩展策略,请使用与使用控制台配置模型自动扩展相同的过程。

编辑扩展策略(AWS CLI 或 Application Auto Scaling API)

您可以使用 AWS CLI 或 Application Auto Scaling API 按照与应用扩展策略相同的方式编辑扩展策略:

  • 在使用 AWS CLI 时,请在 --policy-name 参数中指定要编辑的策略名称。为要更改的参数指定新的值。

  • 在使用 Application Auto Scaling API 时,请在 PolicyName 参数中指定要编辑的策略名称。为要更改的参数指定新的值。

有关更多信息,请参阅应用扩展策略