注册模型 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

注册模型

在为模型添加扩展策略之前,首先必须将模型注册为自动扩缩,并定义模型的扩展限制。

以下过程介绍如何使用 () 或 Application Auto Scaling API 注册用于自动缩放的模型 Amazon Command Line Interface (生产变体Amazon CLI)。

注册模型 (Amazon CLI)

要注册您的生产变体,请使用带有以下参数的register-scalable-target命令:

  • --service-namespace – 将该值设置为 sagemaker

  • --resource-id – 模型(特别是生产变体)的资源标识符。对于该参数,资源类型为 endpoint,唯一标识符为生产变体的名称。例如,endpoint/my-endpoint/variant/my-variant

  • --scalable-dimension – 将该值设置为 sagemaker:variant:DesiredInstanceCount

  • --min-capacity:最小实例数。必须将此值设置为至少 1,并且必须等于或小于为 max-capacity 指定的值。

  • --max-capacity:最大实例数。必须将此值设置为至少 1,并且必须等于或大于为 min-capacity 指定的值。

下面的示例展示了如何注册一个名为 my-variant 的变量,该变量运行在 my-endpoint 端点上,可动态扩展为 1 到 8 个实例。

aws application-autoscaling register-scalable-target \ --service-namespace sagemaker \ --resource-id endpoint/my-endpoint/variant/my-variant \ --scalable-dimension sagemaker:variant:DesiredInstanceCount \ --min-capacity 1 \ --max-capacity 8

注册模型 (Application Auto Scaling API)

要在 Application Auto Scaling 中注册模型,请使用 RegisterScalableTarget Application Auto Scaling API 操作及以下参数:

  • ServiceNamespace – 将该值设置为 sagemaker

  • ResourceID – 生产变体的资源标识符。对于该参数,资源类型为 endpoint,唯一标识符为变体的名称。例如 endpoint/my-endpoint/variant/my-variant

  • ScalableDimension – 将该值设置为 sagemaker:variant:DesiredInstanceCount

  • MinCapacity:最小实例数。必须将此值设置为至少 1,并且必须等于或小于为 MaxCapacity 指定的值。

  • MaxCapacity:最大实例数。必须将此值设置为至少 1,并且必须等于或大于为 MinCapacity 指定的值。

下面的示例展示了如何注册一个名为 my-variant 的变量,该变量在 my-endpoint 端点上运行,可动态扩展为使用 1 到 8 个实例。

POST / HTTP/1.1 Host: application-autoscaling.us-east-2.amazonaws.com Accept-Encoding: identity X-Amz-Target: AnyScaleFrontendService.RegisterScalableTarget X-Amz-Date: 20230506T182145Z User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4 Content-Type: application/x-amz-json-1.1 Authorization: AUTHPARAMS { "ServiceNamespace": "sagemaker", "ResourceId": "endpoint/my-endpoint/variant/my-variant", "ScalableDimension": "sagemaker:variant:DesiredInstanceCount", "MinCapacity": 1, "MaxCapacity": 8 }