SageMaker HyperPod 集群管理 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker HyperPod 集群管理

以下主题讨论了日志记录和管理 SageMaker HyperPod 集群。

记录 SageMaker HyperPod 事件

来自的所有事件和日志 SageMaker HyperPod 都以日志组名称保存到 Amazon CloudWatch /aws/sagemaker/Clusters/[ClusterName]/[ClusterID]。每次调用 CreateCluster API 都会创建一个新的日志组。以下列表包含在每个日志组中收集的所有可用日志流。

日志组名称 日志流名称
/aws/sagemaker/Clusters/[ClusterName]/[ClusterID] LifecycleConfig/[instance-group-name]/[instance-id]

SageMaker HyperPod 在实例级别进行日志记录

您可以访问在集群实例配置 CloudWatch 期间发布到的 LifecycleScript 日志。创建的集群中的每个实例都会生成一个单独的日志流,可通过LifecycleConfig/[instance-group-name]/[instance-id]格式进行区分。

写入的所有日志都将/var/log/provision/provisioning.log上传到前面的 CloudWatch 流中。 LifecycleScripts 在1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config将他们stdout和重定向stderr到此位置时示例。如果您使用的是自定义脚本,请将日志写入可用的/var/log/provision/provisioning.log位置 CloudWatch。

标记资源

Amazon 标签系统可帮助管理、识别、组织、搜索和筛选资源。 SageMaker HyperPod 支持标记,因此您可以将群集作为 Amazon 资源进行管理。在创建集群或编辑现有集群期间,您可以为集群添加或编辑标签。要详细了解如何进行标记,请参阅为资源添加 Amazon 标签

使用 SageMaker HyperPod 控制台 UI

创建新集群并编辑集群时,可以添加、移除或编辑标签。

使用 SageMaker HyperPod API

当您以 JSON 格式编写CreateClusterUpdateClusterAPI 请求文件时,请编辑该Tags部分。

使用 Amazon CLI 标记命令用于 SageMaker

为集群添加标签

aws sagemaker add-tags如下方式使用。

aws sagemaker add-tags --resource-arn cluster_ARN --tags Key=string,Value=string

取消集群的标签

aws sagemaker delete-tags如下方式使用。

aws sagemaker delete-tags --resource-arn cluster_ARN --tag-keys "tag_key"

列出资源的标签

aws sagemaker list-tags如下方式使用。

aws sagemaker list-tags --resource-arn cluster_ARN