编辑扩展策略
您可以使用 Amazon Web Services Management Console、Amazon CLI 或 Application Auto Scaling API 编辑扩展策略。
缩减
在没有流量的情况下横向缩减:如果变体的流量变为零,SageMaker 会自动横向缩减到指定的最小实例数。在这种情况下,SageMaker 会发出值为零的指标。最小实例数必须为 1 或更高。
停用横向缩减活动
您可以停用横向缩减活动,以阻止目标跟踪扩展策略配置对变体进行横向缩减。停用横向缩减活动将阻止扩展策略删除实例,同时仍允许根据需要创建实例。
要对模型启用或停用横向缩减活动,请为 DisableScaleIn
指定一个布尔值。有关 DisableScaleIn
的更多信息,请参阅 Application Auto Scaling API 参考 中的 TargetTrackingScalingPolicyConfiguration
。
以下是扩展策略的目标跟踪配置示例,其中扩展策略将扩展而不缩减。在此配置中,SageMakerVariantInvocationsPerInstance
预定义指标将基于模型所在的所有实例上平均 70 次调用(推理请求)进行扩展。该配置还停用扩展策略的横向缩减活动。
{ "TargetValue": 70.0, "PredefinedMetricSpecification": { "PredefinedMetricType": "SageMakerVariantInvocationsPerInstance" }, "DisableScaleIn": true }
扩展
要手动进行扩展,请调整最小容量。您可以使用控制台更新此值。也可以使用 Amazon CLI 和 --min-capacity
参数,或者使用 Application Auto Scaling API MinCapacity
参数。
停用横向扩展活动
要防止扩展,请调整最大容量。您可以使用控制台更新此值。也可以使用 Amazon CLI 和 --max-capacity
参数,或者使用 Application Auto Scaling API MaxCapacity
参数。
编辑扩展策略(控制台)
要使用 Amazon Web Services Management Console编辑扩展策略,请使用与使用控制台配置模型自动扩缩相同的过程。
编辑扩展策略(Amazon CLI 或 Application Auto Scaling API)
您可以使用 Amazon CLI 或 Application Auto Scaling API 按照与应用扩缩策略相同的方式编辑扩缩策略:
-
在使用 Amazon CLI 时,请在
--policy-name
参数中指定要编辑的策略名称。为要更改的参数指定新的值。 -
在使用 Application Auto Scaling API 时,请在
PolicyName
参数中指定要编辑的策略名称。为要更改的参数指定新的值。
有关更多信息,请参阅 应用扩缩策略。