扩展预构建的容器 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

扩展预构建的容器

如果预构建的 SageMaker 容器不能满足您的所有要求,则可以扩展现有映像以满足您的需求。即使您的环境或框架直接支持,您也可能需要添加其他功能或以不同的方式配置容器环境。通过扩展预构建的映像,您可以利用随附的深度学习库和设置,而无需从头开始创建映像。您可以扩展容器以添加库、修改设置和安装其他依赖项。

以下教程演示了如何扩展预构建的 SageMaker 映像并将其发布到 Amazon ECR。

扩展预构建容器的要求

要扩展预先构建的 SageMaker 映像,您需要在 Dockerfile 中设置以下环境变量。有关使用 SageMaker 容器的环境变量的更多信息,请参阅SageMaker 培训工具包 GitHub 回购.

  • SAGEMAKER_SUBMIT_DIRECTORY:用于训练的 Python 脚本所在容器中的目录。

  • SAGEMAKER_PROGRAM:应该调用并用作训练切入点的 Python 脚本。

还可以通过在 Dockerfile 中包含以下内容来安装其他库:

RUN pip install <library>

以下教程介绍如何使用这些环境变量。

扩展 SageMaker 容器以运行 Python 脚本

在本教程中,您将学习如何使用使用 CIFAR-10 数据集的 Python 文件扩展 SageMaker PyTorch 容器。通过扩展 SageMaker PyTorch 容器,您可以利用与 SageMaker 配合使用的现有培训解决方案。本教程扩展了训练图像,但是可以采取相同的步骤来扩展推理图像。有关可用映像的完整列表,请参阅可用的 Deep Learning Containers 映像.

要使用 SageMaker 容器运行您自己的训练模型,请通过 SageMaker 笔记本实例构建 Docker 容器。

第 1 步:创建 SageMaker 笔记本实例

  1. 打开SageMaker 控制台.

  2. 在左侧导航窗格中,选择笔记本,选择笔记本实例,然后选择创建笔记本实例.

  3. Create notebook instance (创建笔记本实例) 页面上提供以下信息:

    1. 对于 Notebook instance name (笔记本实例名称),输入 RunScriptNotebookInstance

    2. 对于 Notebook instance type (笔记本实例类型),选择 ml.t2.medium

    3. 权限和加密部分中,执行以下操作:

      1. 对于 IAM Role (IAM 角色),选择 Create a new role (创建新角色)

      2. 在存储库的创建 IAM 角色页面上,选择特定的 S3 存储桶中,指定一个名为的 Amazon S3 存储桶sagemaker-run-script,然后选择创建角色.

        SageMaker 创建 IAM 角色AmazonSageMaker-ExecutionRole-YYYYMMDDTHHmmSS之外的压缩算法(例如AmazonSageMaker-ExecutionRole-20190429T110788. 请注意,执行角色命名约定使用创建角色的日期和时间,由 T 分隔。

    4. 适用于根访问,选择启用.

    5. 选择创建笔记本实例

  4. 在存储库的笔记本实例页面,状态Pending. Amazon SageMaker 可能需要几分钟的时间来启动机器学习计算实例(在此例中为启动笔记本实例)并将 ML 存储卷附加到实例。笔记本实例有一个预配置的 Jupyter 笔记本服务器和一组 Anaconda 库。有关更多信息,请参阅 。CreateNotebookInstance.

  5. 权限和加密部分,复制IAM 角色 ARN 号码,然后将其粘贴到记事本文件中以临时保存它。稍后,您可以使用此 IAM 角色 ARN 编号在笔记本实例中配置本地训练估算器。The IAM role ARN number (IAM 角色 ARN 编号) 如下所示:'arn:aws:iam::111122223333:role/service-role/AmazonSageMaker-ExecutionRole-20190429T110788'

  6. 在笔记本实例的状态更改为之后InService,选择打开 JupyterLab.

第 2 步:创建并上传 Dockerfile 和 Python 训练脚本

  1. 打开 JupyterLab 后,请在 JupyterLab 的主目录中创建新文件夹。在左上角,选择新文件夹图标,然后输入文件夹名称docker_test_folder.

  2. 创建Dockerfile中的文本文件docker_test_folder目录。

    1. 选择新启动器图标 (+) 位于左上角。

    2. 在右窗格中其他部分,选择文本文件.

    3. 粘贴以下内容Dockerfile示例代码放入文本文件。

      # SageMaker PyTorch image FROM 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:1.5.1-cpu-py36-ubuntu16.04 ENV PATH="/opt/ml/code:${PATH}" # this environment variable is used by the SageMaker PyTorch container to determine our user code directory. ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code # /opt/ml and all subdirectories are utilized by SageMaker, use the /code subdirectory to store your user code. COPY cifar10.py /opt/ml/code/cifar10.py # Defines cifar10.py as script entrypoint ENV SAGEMAKER_PROGRAM cifar10.py

      Dockerfile 脚本将执行以下任务:

      • FROM 763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:1.5.1-cpu-py36-ubuntu16.04— 下载 SageMaker PyTorch 基本映像。您可以将其替换为构建容器时想要带来的任何 SageMaker 基本映像。

      • ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code— 套装/opt/ml/code作为训练脚本目录。

      • COPY cifar10.py /opt/ml/code/cifar10.py— 将脚本复制到 SageMaker 预期的容器内的位置。该脚本必须位于此文件夹中。

      • ENV SAGEMAKER_PROGRAM cifar10.py— 设置您的cifar10.py将训练脚本作为入口点脚本。

    4. 在左侧目录导航窗格中,文本文件名可能会自动命名为。untitled.txt. 要重命名文件,请右键单击文件,选择重命名中,将文件重命名为Dockerfile没有.txt扩展程序,然后按Ctrl+s要么Command+s保存文件。

  3. 创建或上传训练脚本cifar10.py中的docker_test_folder. 您可以在本练习中使用以下示例脚本。

    import ast import argparse import logging import os import torch import torch.distributed as dist import torch.nn as nn import torch.nn.parallel import torch.optim import torch.utils.data import torch.utils.data.distributed import torchvision import torchvision.models import torchvision.transforms as transforms import torch.nn.functional as F logger=logging.getLogger(__name__) logger.setLevel(logging.DEBUG) classes=('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck') # https://github.com/pytorch/tutorials/blob/master/beginner_source/blitz/cifar10_tutorial.py#L118 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1=nn.Conv2d(3, 6, 5) self.pool=nn.MaxPool2d(2, 2) self.conv2=nn.Conv2d(6, 16, 5) self.fc1=nn.Linear(16 * 5 * 5, 120) self.fc2=nn.Linear(120, 84) self.fc3=nn.Linear(84, 10) def forward(self, x): x=self.pool(F.relu(self.conv1(x))) x=self.pool(F.relu(self.conv2(x))) x=x.view(-1, 16 * 5 * 5) x=F.relu(self.fc1(x)) x=F.relu(self.fc2(x)) x=self.fc3(x) return x def _train(args): is_distributed=len(args.hosts) > 1 and args.dist_backend is not None logger.debug("Distributed training - {}".format(is_distributed)) if is_distributed: # Initialize the distributed environment. world_size=len(args.hosts) os.environ['WORLD_SIZE']=str(world_size) host_rank=args.hosts.index(args.current_host) dist.init_process_group(backend=args.dist_backend, rank=host_rank, world_size=world_size) logger.info( 'Initialized the distributed environment: \'{}\' backend on {} nodes. '.format( args.dist_backend, dist.get_world_size()) + 'Current host rank is {}. Using cuda: {}. Number of gpus: {}'.format( dist.get_rank(), torch.cuda.is_available(), args.num_gpus)) device='cuda' if torch.cuda.is_available() else 'cpu' logger.info("Device Type: {}".format(device)) logger.info("Loading Cifar10 dataset") transform=transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) trainset=torchvision.datasets.CIFAR10(root=args.data_dir, train=True, download=False, transform=transform) train_loader=torch.utils.data.DataLoader(trainset, batch_size=args.batch_size, shuffle=True, num_workers=args.workers) testset=torchvision.datasets.CIFAR10(root=args.data_dir, train=False, download=False, transform=transform) test_loader=torch.utils.data.DataLoader(testset, batch_size=args.batch_size, shuffle=False, num_workers=args.workers) logger.info("Model loaded") model=Net() if torch.cuda.device_count() > 1: logger.info("Gpu count: {}".format(torch.cuda.device_count())) model=nn.DataParallel(model) model=model.to(device) criterion=nn.CrossEntropyLoss().to(device) optimizer=torch.optim.SGD(model.parameters(), lr=args.lr, momentum=args.momentum) for epoch in range(0, args.epochs): running_loss=0.0 for i, data in enumerate(train_loader): # get the inputs inputs, labels=data inputs, labels=inputs.to(device), labels.to(device) # zero the parameter gradients optimizer.zero_grad() # forward + backward + optimize outputs=model(inputs) loss=criterion(outputs, labels) loss.backward() optimizer.step() # print statistics running_loss += loss.item() if i % 2000 == 1999: # print every 2000 mini-batches print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 2000)) running_loss=0.0 print('Finished Training') return _save_model(model, args.model_dir) def _save_model(model, model_dir): logger.info("Saving the model.") path=os.path.join(model_dir, 'model.pth') # recommended way from http://pytorch.org/docs/master/notes/serialization.html torch.save(model.cpu().state_dict(), path) def model_fn(model_dir): logger.info('model_fn') device="cuda" if torch.cuda.is_available() else "cpu" model=Net() if torch.cuda.device_count() > 1: logger.info("Gpu count: {}".format(torch.cuda.device_count())) model=nn.DataParallel(model) with open(os.path.join(model_dir, 'model.pth'), 'rb') as f: model.load_state_dict(torch.load(f)) return model.to(device) if __name__ == '__main__': parser=argparse.ArgumentParser() parser.add_argument('--workers', type=int, default=2, metavar='W', help='number of data loading workers (default: 2)') parser.add_argument('--epochs', type=int, default=2, metavar='E', help='number of total epochs to run (default: 2)') parser.add_argument('--batch-size', type=int, default=4, metavar='BS', help='batch size (default: 4)') parser.add_argument('--lr', type=float, default=0.001, metavar='LR', help='initial learning rate (default: 0.001)') parser.add_argument('--momentum', type=float, default=0.9, metavar='M', help='momentum (default: 0.9)') parser.add_argument('--dist-backend', type=str, default='gloo', help='distributed backend (default: gloo)') # The parameters below retrieve their default values from SageMaker environment variables, which are # instantiated by the SageMaker containers framework. # https://github.com/aws/sagemaker-containers#how-a-script-is-executed-inside-the-container parser.add_argument('--hosts', type=str, default=ast.literal_eval(os.environ['SM_HOSTS'])) parser.add_argument('--current-host', type=str, default=os.environ['SM_CURRENT_HOST']) parser.add_argument('--model-dir', type=str, default=os.environ['SM_MODEL_DIR']) parser.add_argument('--data-dir', type=str, default=os.environ['SM_CHANNEL_TRAINING']) parser.add_argument('--num-gpus', type=int, default=os.environ['SM_NUM_GPUS']) _train(parser.parse_args())

第 3 步:构建容器

  1. 在 JupyterLab 主目录中,打开 Jupyter 笔记本。要打开新笔记本,请选择新启动图标然后选择conda_pytorch_p36中的笔记本部分。

  2. 在第一个笔记本单元格中运行以下命令以更改为docker_test_folder目录:

    % cd ~/SageMaker/docker_test_folder

    这将返回您当前的目录,如下所示:

    ! pwd

    output: /home/ec2-user/SageMaker/docker_test_folder

  3. 登录 Docker 以访问基本容器:

    ! aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 763104351884.dkr.ecr.us-east-1.amazonaws.com
  4. 要构建 Docker 容器,请运行以下 Docker 构建命令,包括结尾处的空格:

    ! docker build -t pytorch-extended-container-test .

    Docker 构建命令必须从您创建的 Docker 目录运行,在此例中为。docker_test_folder.

    注意

    如果您收到以下错误消息提示 Docker 找不到 Dockerfile,请确保 Dockerfile 的名称正确并已保存到目录中。

    unable to prepare context: unable to evaluate symlinks in Dockerfile path: lstat /home/ec2-user/SageMaker/docker/Dockerfile: no such file or directory

    请记住那个docker查找专门名为的文件Dockerfile在当前目录中没有任何扩展名。如果您将其命名为其他名称,则可以使用-f标志。例如,如果你命名了 DockerfileDockerfile-text.txt中,运行以下命令:

    ! docker build -t tf-custom-container-test -f Dockerfile-text.txt .

第 4 步:测试容器

  1. 要在笔记本实例中本地测试容器,请打开 Jupyter 笔记本。选择新启动器然后选择笔记本conda_pytorch_p36框架。其余的代码片段必须从 Jupyter 笔记本实例中运行。

  2. 下载 CIFAR-10 数据集。

    import torch import torchvision import torchvision.transforms as transforms def _get_transform(): return transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) def get_train_data_loader(data_dir='/tmp/pytorch/cifar-10-data'): transform=_get_transform() trainset=torchvision.datasets.CIFAR10(root=data_dir, train=True, download=True, transform=transform) return torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2) def get_test_data_loader(data_dir='/tmp/pytorch/cifar-10-data'): transform=_get_transform() testset=torchvision.datasets.CIFAR10(root=data_dir, train=False, download=True, transform=transform) return torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2) trainloader=get_train_data_loader('/tmp/pytorch-example/cifar-10-data') testloader=get_test_data_loader('/tmp/pytorch-example/cifar-10-data')
  3. Setrole转到用于创建 Jupyter 笔记本的角色。这用于配置您的 SageMaker 估算器。

    from sagemaker import get_execution_role role=get_execution_role()
  4. 将以下示例脚本粘贴到笔记本代码单元中,以使用扩展容器配置 SageMaker Estator。

    from sagemaker.estimator import Estimator hyperparameters={'epochs': 1} estimator=Estimator( image_uri='pytorch-extended-container-test', role=role, instance_count=1, instance_type='local', hyperparameters=hyperparameters ) estimator.fit('file:///tmp/pytorch-example/cifar-10-data')
  5. 运行代码单元。该测试输出训练环境配置、用于环境变量的值、数据源以及训练期间获得的损失和准确率。

第 5 步:将容器推送到 Amazon Elastic Container Registry (Amazon ECR)

  1. 成功运行本地模式测试后,您可以将 Docker 容器推送到Amazon ECR然后用它来运行培训工作。

    在笔记本单元格中运行以下命令行。

    %%sh # Specify an algorithm name algorithm_name=pytorch-extended-container-test account=$(aws sts get-caller-identity --query Account --output text) # Get the region defined in the current configuration (default to us-west-2 if none defined) region=$(aws configure get region) fullname="${account}.dkr.ecr.${region}.amazonaws.com/${algorithm_name}:latest" # If the repository doesn't exist in ECR, create it. aws ecr describe-repositories --repository-names "${algorithm_name}" > /dev/null 2>&1 if [ $? -ne 0 ] then aws ecr create-repository --repository-name "${algorithm_name}" > /dev/null fi # Log into Docker aws ecr get-login-password --region ${region}|docker login --username AWS --password-stdin ${fullname} # Build the docker image locally with the image name and then push it to ECR # with the full name. docker build -t ${algorithm_name} . docker tag ${algorithm_name} ${fullname} docker push ${fullname}
  2. 推送容器后,您可以从 SageMaker 环境中的任何位置调用 Amazon ECR 镜像。在下一个笔记本电脑单元中运行以下代码示例。

    如果要将此训练容器与 SageMaker Studio 结合使用以使用其可视化功能,还可以在 Studio 笔记本电脑单元中运行以下代码来调用训练容器的 Amazon ECR 映像。

    import boto3 client=boto3.client('sts') account=client.get_caller_identity()['Account'] my_session=boto3.session.Session() region=my_session.region_name algorithm_name="pytorch-extended-container-test" ecr_image='{}.dkr.ecr.{}.amazonaws.com/{}:latest'.format(account, region, algorithm_name) ecr_image # This should return something like # 12-digits-of-your-account.dkr.ecr.us-east-2.amazonaws.com/tf-2.2-test:latest
  3. 使用ecr_image从上一步中检索以配置 SageMaker 估计器对象。以下代码示例配置 SageMaker PyTorch 估算器。

    import sagemaker from sagemaker import get_execution_role from sagemaker.estimator import Estimator estimator=Estimator( image_uri=ecr_image, role=get_execution_role(), base_job_name='pytorch-extended-container-test', instance_count=1, instance_type='ml.p2.xlarge' ) # start training estimator.fit() # deploy the trained model predictor=estimator.deploy(1, instance_type)

第 6 步:清理资源

完成使用入门示例后清除资源

  1. 打开SageMaker 控制台,选择笔记本实例RunScriptNotebookInstance,选择操作,然后选择停止. 停止实例可能需要几分钟时间。

  2. 在实例之后状态对 的更改Stopped,选择操作,选择Delete,然后选择Delete在对话框中。删除实例可能需要几分钟时间。删除后,笔记本实例将从表中消失。

  3. 打开Amazon S3 控制台并删除为存储模型构件和训练数据集创建的存储桶。

  4. 打开IAM 控制台然后删除 IAM 角色。如果您已创建权限策略,也可以将其删除。

    注意

    Docker 容器在运行后会自动关闭。您不需要删除该容器。