查询端点自动扩缩历史记录 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

查询端点自动扩缩历史记录

您可以使用 DescribeScalingActivities,查看端点的扩展活动的状态。DescribeScalingActivities 提供前六周内,指定命名空间中扩展活动的描述性信息。

如何查询端点自动扩缩操作

使用 DescribeScalingActivities 查询自动扩缩端点。为此,请指定 ServiceNameSpace 参数。ServiceNameSpace 是提供资源的 Amazon 服务的名称。

有效服务名称值包括:

ecs | elasticmapreduce | ec2 | appstream | dynamodb | rds | sagemaker | custom-resource | comprehend | lambda | cassandra

在这种情况下,您需要将 ServiceNameSpace 设置为 sagemaker

使用以下 Amazon CLI 命令查看所有具有扩展策略 sagemaker 端点的详细信息:

aws application-autoscaling describe-scaling-activities \ --service-namespace sagemaker

您可以使用 ResourceId 搜索特定的端点:

aws application-autoscaling describe-scaling-activities \ --service-namespace sagemaker \ --resource-id endpoint/<endpoint_name>/variant/<variant_name>

当您运行此命令时,它返回以下输出:

{ "ActivityId": "activity-id", "ServiceNamespace": "sagemaker", "ResourceId": "endpoint/<endpoint_name>/variant/<variant_name>", "ScalableDimension": "sagemaker:variant:DesiredInstanceCount", "Description": "string", "Cause": "string", "StartTime": timestamp, "EndTime": timestamp, "StatusCode": "string", "StatusMessage": "string" }

确定由于实例限额而被阻止的自动扩缩

当您横向扩展或添加更多实例时,您可能会达到账户级别的实例限额。您可以使用 DescribeScalingActivities 检查是否已达到实例限额。当您超出限额时,自动扩缩将被阻止。

要检查您是否已达到实例限额,请使用 Amazon CLI 命令,如前文中指定 ResourceId 的示例所示:

aws application-autoscaling describe-scaling-activities \ --service-namespace sagemaker \ --resource-id endpoint/<endpoint_name>/variant/<variant_name>

在返回语法中,检查 StatusCodeStatusMessage 键及其关联的值。StatusCode 返回 Failed。在 StatusMessage 中有一条消息,表明已达到账户级别的服务限额。消息类似于以下示例:

{ "ActivityId": "activity-id", "ServiceNamespace": "sagemaker", "ResourceId": "endpoint/<endpoint_name>/variant/<variant_name>", "ScalableDimension": "sagemaker:variant:DesiredInstanceCount", "Description": "string", "Cause": "minimum capacity was set to 110", "StartTime": timestamp, "EndTime": timestamp, "StatusCode": "Failed", "StatusMessage": "Failed to set desired instance count to 110. Reason: The account-level service limit 'ml.xx.xxxxxx for endpoint usage' is 1000 Instances, with current utilization of 997 Instances and a request delta of 20 Instances. Please contact Amazon support to request an increase for this limit. (Service: AmazonSageMaker; Status Code: 400; Error Code: ResourceLimitExceeded; Request ID: request-id)." }