查询终端节点自动扩展历史记录 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查询终端节点自动扩展历史记录

您可以使用 DescribeScalingActivities 查看终端节点中的扩展活动的状态。DescribeScalingActivities 提供有关前六周内指定命名空间中的扩展活动的描述性信息。

如何查询终端节点自动扩展操作

使用 DescribeScalingActivities 查询自动扩展终端节点。 为此,请指定 ServiceNameSpace 参数。ServiceNameSpace 是提供资源的 AWS 服务的名称。

有效的服务名称值包括:

ecs | elasticmapreduce | ec2 | appstream | dynamodb | rds | sagemaker | custom-resource | comprehend | lambda | cassandra

在这种情况下,您需要将 ServiceNameSpace 设置为 sagemaker

可以使用以下 AWS CLI 命令查看有关具有扩展策略的所有 sagemaker 终端节点的详细信息:

aws application-autoscaling describe-scaling-activities \ --service-namespace sagemaker

您可以使用 ResourceId 搜索特定终端节点:

aws application-autoscaling describe-scaling-activities \ --service-namespace sagemaker \ --resource-id endpoint/<endpoint_name>/variant/<variant_name>

当您运行此命令时,它将返回以下输出:

{ "ActivityId": "activity-id", "ServiceNamespace": "sagemaker", "ResourceId": "endpoint/<endpoint_name>/variant/<variant_name>", "ScalableDimension": "sagemaker:variant:DesiredInstanceCount", "Description": "string", "Cause": "string", "StartTime": timestamp, "EndTime": timestamp, "StatusCode": "string", "StatusMessage": "string" }

如何确定由于实例配额而阻止的AutoScaling

当您扩展或添加更多实例时,可能会达到账户级别的实例配额。您可以使用 DescribeScalingActivities 来检查是否已达到实例配额。当您超出配额时,系统会阻止自动扩展。

要检查是否已达到实例配额,请使用 AWS CLI 命令,如您在其中指定 ResourceId 的以下示例所示:

aws application-autoscaling describe-scaling-activities \ --service-namespace sagemaker \ --resource-id endpoint/<endpoint_name>/variant/<variant_name>

在返回语法中,检查 StatusCodeStatusMessage 键及其关联的值。StatusCode 返回 Failed。 在 StatusMessage 中,有一条消息指示已达到账户级别服务配额。以下是该消息具体形式的示例:

{ "ActivityId": "activity-id", "ServiceNamespace": "sagemaker", "ResourceId": "endpoint/<endpoint_name>/variant/<variant_name>", "ScalableDimension": "sagemaker:variant:DesiredInstanceCount", "Description": "string", "Cause": "minimum capacity was set to 110", "StartTime": timestamp, "EndTime": timestamp, "StatusCode": "Failed", "StatusMessage": "Failed to set desired instance count to 110. Reason: The account-level service limit 'ml.xx.xxxxxx for endpoint usage' is 1000 Instances, with current utilization of 997 Instances and a request delta of 20 Instances. Please contact AWS support to request an increase for this limit. (Service: AmazonSageMaker; Status Code: 400; Error Code: ResourceLimitExceeded; Request ID: request-id)." }