使用 Amazon CloudWatch 和 Amazon Lambda 创建对规则的操作
Amazon CloudWatch 收集 Amazon SageMaker 模型训练作业日志和 Amazon SageMaker Debugger 规则处理作业日志。使用 Amazon CloudWatch Events 和 Amazon Lambda 配置 Debugger,以根据 Debugger 规则评估状态采取措施。
Debugger 规则和训练作业的 CloudWatch 日志
查找训练作业日志和 Debugger 规则作业日志
通过 https://console.aws.amazon.com/cloudwatch/
打开 CloudWatch 控制台。 -
在左侧导航窗格的日志节点下,选择日志组。
-
在日志组列表中,执行以下操作:
-
选择 /aws/sagemaker/TrainingJobs 以查找训练作业日志。
-
选择 /aws/sagemaker/ProcessingJobs 以查找 Debugger 规则作业日志。
-
出现训练问题时,您可以根据 CloudWatch 日志中的训练和 Debugger 规则作业状态来采取进一步的措施。
有关使用 CloudWatch 监控训练作业的更多信息,请参阅监控 Amazon SageMaker。
使用 CloudWatch 和 Lambda 设置 Debugger 自动终止训练作业
Debugger 规则监控训练作业状态,CloudWatch Events 规则监视 Debugger 规则训练作业评估状态。
步骤 1:创建 Lambda 函数
创建 Lambda 函数
通过 https://console.aws.amazon.com/lambda/
打开 Amazon Lambda 控制台。 -
在左侧导航窗格中,选择函数,然后选择创建函数。
-
在创建函数页面上,选择从头开始创作。
-
在基本信息部分中,输入函数名称(例如,debugger-rule-stop-training-job)。
-
对于 Runtime (运行时),选择 Python 3.7。
-
对于权限,展开下拉选项,然后选择更改默认执行角色。
-
对于执行角色,选择使用现有角色,然后选择用于 SageMaker 上训练作业的 IAM 角色。
注意
请确保您使用附加了
AmazonSageMakerFullAccess
和AWSLambdaBasicExecutionRole
的执行角色。否则,Lambda 函数将无法正确响应训练作业的 Debugger 规则状态变化。如果您不确定正在使用哪个执行角色,请在 Jupyter 笔记本单元中运行以下代码来检索执行角色输出:import sagemaker sagemaker.get_execution_role()
-
在页面底部,选择创建函数。
下图显示了创建函数页面的示例,其中已完成了输入字段和选择。
步骤 2:配置 Lambda 函数
配置 Lambda 函数
-
在配置页面的函数代码部分,将以下 Python 脚本粘贴到 Lambda 代码编辑器窗格中。
lambda_handler
函数监控 CloudWatch 收集的 Debugger 规则评估状态并触发StopTrainingJob
API 操作。Amazon SDK for Python (Boto3)client
for SageMaker 提供了一种高级方法stop_training_job
,可以触发StopTrainingJob
API 操作。import json import boto3 import logging logger = logging.getLogger() logger.setLevel(logging.INFO) def lambda_handler(event, context): training_job_name = event.get("detail").get("TrainingJobName") logging.info(f'Evaluating Debugger rules for training job: {training_job_name}') eval_statuses = event.get("detail").get("DebugRuleEvaluationStatuses", None) if eval_statuses is None or len(eval_statuses) == 0: logging.info("Couldn't find any debug rule statuses, skipping...") return { 'statusCode': 200, 'body': json.dumps('Nothing to do') } # should only attempt stopping jobs with InProgress status training_job_status = event.get("detail").get("TrainingJobStatus", None) if training_job_status != 'InProgress': logging.debug(f"Current Training job status({training_job_status}) is not 'InProgress'. Exiting") return { 'statusCode': 200, 'body': json.dumps('Nothing to do') } client = boto3.client('sagemaker') for status in eval_statuses: logging.info(status.get("RuleEvaluationStatus") + ', RuleEvaluationStatus=' + str(status)) if status.get("RuleEvaluationStatus") == "IssuesFound": secondary_status = event.get("detail").get("SecondaryStatus", None) logging.info( f'About to stop training job, since evaluation of rule configuration {status.get("RuleConfigurationName")} resulted in "IssuesFound". ' + f'\ntraining job "{training_job_name}" status is "{training_job_status}", secondary status is "{secondary_status}"' + f'\nAttempting to stop training job "{training_job_name}"' ) try: client.stop_training_job( TrainingJobName=training_job_name ) except Exception as e: logging.error( "Encountered error while trying to " "stop training job {}: {}".format( training_job_name, str(e) ) ) raise e return None
有关 Lambda 代码编辑器接口的更多信息,请参阅使用 Amazon Lambda 控制台编辑器创建函数。
-
跳过所有其他设置,然后在配置页面顶部选择保存。
步骤 3:创建 CloudWatch Events 规则并链接到 Debugger 的 Lambda 函数
创建 CloudWatch Events 规则并链接到 Debugger 的 Lambda 函数
通过 https://console.aws.amazon.com/cloudwatch/
打开 CloudWatch 控制台。 -
在左侧导航窗格中,选择事件节点下的规则。
-
选择 Create rule(创建规则)。
-
在步骤 1:创建规则页面的事件源部分,为服务名称选择 SageMaker,然后为事件类型选择 SageMaker 训练作业状态变更。事件模式预览应该类似于以下示例 JSON 字符串:
{ "source": [ "aws.sagemaker" ], "detail-type": [ "SageMaker Training Job State Change" ] }
-
在目标部分中,选择添加目标*,然后选择您创建的 debugger-rule-stop-training-job Lambda 函数。此步骤将 CloudWatch Events 规则与 Lambda 函数相链接。
-
选择配置详细信息,然后转到步骤 2:配置规则详细信息页面。
-
指定 CloudWatch 规则定义名称。例如,debugger-cw-event-rule。
-
选择创建规则以完成操作。
-
返回 Lambda 函数配置页面并刷新页面。在设计器面板中确认已正确配置函数。应将 CloudWatch Events 规则注册为 Lambda 函数的触发器。配置设计应类似于以下示例。
运行示例笔记本以测试自动终止训练作业
您可以运行以下示例笔记本,这些笔记本已准备好实验使用 Debugger 的内置规则停止训练作业。
-
Amazon SageMaker Debugger – 根据规则对 CloudWatch Events 做出反应
此示例笔记本运行的训练作业存在梯度消失问题。在构造 SageMaker TensorFlow 估算器时使用 Debugger VanishingGradient 内置规则。当 Debugger 规则检测到问题时,训练作业即告终止。
-
使用 SageMaker Debugger 规则检测停顿的训练并调用操作
此示例笔记本运行一个训练脚本,有一行代码会强制脚本休眠 10 分钟。Debugger StalledTrainingRule 内置规则调用问题并停止训练作业。
禁用 CloudWatch Events 规则以停止使用自动终止训练作业
如果您要禁用自动终止训练作业,则需要禁用 CloudWatch Events 规则。在 Lambda 设计器面板中,选择链接到 Lambda 函数的 EventBridge (CloudWatch Events)块。这将在设计器面板下显示 EventBridge(请参见前面的屏幕截图示例)。选中 EventBridge (CloudWatch Events): debugger-cw-event-rule 旁边的复选框,然后选择禁用。如果以后您想使用自动终止功能,可以再次启用 CloudWatch Events 规则。