将 Debugger 与自定义训练容器配合使用

Amazon SageMaker Debugger 适用于您带到亚马逊 SageMaker的任何深度学习模型。 Amazon CLI、 SageMaker Estimator API 和 Debugger API 使您能够使用任何 Docker 基础镜像来构建和自定义容器来训练模型。要将 Debugger 与自定义容器结合使用，您只需对训练脚本进行极少的更改，以实施 Debugger 钩子回调并从训练作业中检索张量。

您需要以下资源来使用 Debugger 构建自定义容器。

有关在自定义训练容器中使用 Debugger 的示 end-to-end 例，请参阅以下示例笔记本。

准备构建自定义训练容器

要构建 Docker 容器，文件的基本结构应如下所示：

├── debugger_custom_container_test_notebook.ipynb      # a notebook to run python snippet codes
└── debugger_custom_container_test_folder              # this is a docker folder
    ├──  your-training-script.py                       # your training script with Debugger hook
    └──  Dockerfile                                    # a Dockerfile to build your own container

将 Debugger 钩子注册到您的训练脚本

要调试模型训练，您需要在训练脚本中添加 Debugger 钩子。

以下示例代码显示了使用 Keras ResNet 50 模型的训练脚本的结构，以及如何将调试器挂钩作为 Keras 回调传递以进行调试。要查找完整的训练脚本，请参阅带有 SageMaker Debugger 挂钩的TensorFlow 训练脚本。

# An example of training script (your-training-script.py)
import tensorflow.compat.v2 as tf
from tensorflow.keras.applications.resnet50 import ResNet50
import smdebug.tensorflow as smd

def train(batch_size, epoch, model, hook):

    ...
    model.fit(X_train, Y_train,
              batch_size=batch_size,
              epochs=epoch,
              validation_data=(X_valid, Y_valid),
              shuffle=True,

              # smdebug modification: Pass the Debugger hook in the main() as a Keras callback
              callbacks=[hook])

def main():
    parser=argparse.ArgumentParser(description="Train resnet50 cifar10")

    # hyperparameter settings
    parser.add_argument(...)
    
    args = parser.parse_args()

    model=ResNet50(weights=None, input_shape=(32,32,3), classes=10)

    # Add the following line to register the Debugger hook for Keras.
    hook=smd.KerasHook.create_from_json_file()

    # Start the training.
    train(args.batch_size, args.epoch, model, hook)

if __name__ == "__main__":
    main()
        

有关为支持的框架和算法注册 Debugger 钩子的更多信息，请参阅 SMDebug 客户端库中的以下链接：

在以下示例笔记本的训练脚本中，您可以找到更多示例，详细说明了如何将 Debugger 钩子添加到训练脚本和收集输出张量：

创建和配置 Dockerfile

在本示例debugger_custom_container_test_folder中，打开您的 SageMaker JupyterLab 并创建一个新文件夹，以保存您的训练脚本和Dockerfile。以下代码示例是 Dockerfile，其中包括了必要的 Docker 构建注释。将以下代码粘贴到 Dockerfile 文本文件中并保存。将训练脚本上传到同一个文件夹。

# Specify a docker base image
FROM tensorflow/tensorflow:2.2.0rc2-gpu-py3
RUN /usr/bin/python3 -m pip install --upgrade pip
RUN pip install --upgrade protobuf

# Install required packages to enable the SageMaker Python SDK and the smdebug library
RUN pip install sagemaker-training
RUN pip install smdebug
CMD ["bin/bash"]

如果你想使用预先构建的 Amazon 深度学习容器镜像，请参阅可用的 Amazon 深度学习容器镜像。

构建自定义训练容器并将其推送到 Amazon ECR

创建测试笔记本 debugger_custom_container_test_notebook.ipynb，然后在笔记本单元中运行以下代码。这将访问 debugger_byoc_test_docker 目录，使用指定的 algorithm_name 构建 Docker，然后将 Docker 容器推送到 Amazon ECR 中。

import boto3

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'sagemaker-debugger-mnist-byoc-tf2'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'
if region in ['cn-north-1', 'cn-northwest-1']:
    uri_suffix = 'amazonaws.com.cn'
byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(account_id, region, uri_suffix, ecr_repository + tag)

!docker build -t $ecr_repository docker
!$(aws ecr get-login --region $region --registry-ids $account_id --no-include-email)
!aws ecr create-repository --repository-name $ecr_repository
!docker tag {ecr_repository + tag} $byoc_image_uri
!docker push $byoc_image_uri

! aws ecr get-login-password --region {region} | docker login --username Amazon --password-stdin 763104351884.dkr.ecr.us-east-1.amazonaws.com

使用自定义训练容器运行和调试训练作业

在构建 docker 容器并将其推送到 Amazon ECR 后，请使用您的训练脚本和调试器特 SageMaker 定的参数配置估算器。执行 estimator.fit() 之后，Debugger 将收集输出张量、监控它们并检测训练问题。使用保存的张量，您可以使用 smdebug 核心功能和工具进一步分析训练作业。使用 Amazon Ev CloudWatch ents 配置调试器规则监控流程的工作流程 Amazon Lambda，每当调试器规则发现训练问题时，您就可以自动停止训练作业流程。

import sagemaker
from sagemaker.estimator import Estimator
from sagemaker.debugger import Rule, DebuggerHookConfig, CollectionConfig, rule_configs

profiler_config=ProfilerConfig(...)
debugger_hook_config=DebuggerHookConfig(...)
rules=[
    Rule.sagemaker(rule_configs.built_in_rule()),
    ProfilerRule.sagemaker(rule_configs.BuiltInRule())
]

estimator=Estimator(
    image_uri=byoc_image_uri,
    entry_point="./debugger_custom_container_test_folder/your-training-script.py"
    role=sagemaker.get_execution_role(),
    base_job_name='debugger-custom-container-test',
    instance_count=1,
    instance_type='ml.p3.2xlarge',
    
    # Debugger-specific parameters
    profiler_config=profiler_config,
    debugger_hook_config=debugger_hook_config,
    rules=rules
)

# start training
estimator.fit()