推理 - Amazon深度学习容器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

推理

本节介绍如何使用 Apache MXNet(孵化)、、和 TensorFlow 2 在亚马逊弹性容器服务 (Amazon ECS) 的DeeAmazon p Learning Containers 上运行推理。 PyTorch TensorFlow您还可以使用 Elastic Inference 通过DeeAmazon p Learning Containers 运行推理。有关Elastic Inference 的教程和更多信息,请参阅在 Amazon ECS 上使用带有Elastic Inference 的DeeAmazon p Learning Container s。

有关Deep Learning Containers,请参阅Deep Learning Containers 映像

注意

MKL 用户:阅读AmazonDeep Learning Containers 英特尔数学核心库 (MKL) 建议以获得最佳训练或推理性能。

重要

如果您的账户已创建 Amamazon ECS 服务相关角色,则默认情况下会为您的服务使用该角色,除非在此处指定一个角色,则默认情况下会为您的服务使用该角色,除非在此处指定一个角色,则默认情况下会为您的服务使用该角色,如果您的任务定义使用 awsvpc 网络模式,则需要服务相关角色。如果将服务配置为使用服务发现、外部部署控制器、多个目标组或 Elastic Inference 加速器(在这种情况下,不应在此处指定角色),则需要使用该角色。有关更多信息,请参阅 Amazon ECS 开发人员指南中的 Amazon ECS 使用服务关联角色

TensorFlow理推理推理

以下示例使用示例 Docker 镜像,该镜像从主机的命令行向Deep Learning Containers 添加 CPU 或 GPU 推理脚本。

理推理推理推理推理推理

使用以下示例运行基于 CPU 的推理。

  1. 使用以下内容创建名为 ecs-dlc-cpu-inference-taskdef.json 的文件。你可以将其与任一 TensorFlow 或 TensorFlow 2 一起使用。要将其与 TensorFlow 2 一起使用,请将 Docker 映像更改为 TensorFlow 2 映像,然后克隆 r2.0 服务存储库分支而不是 r1.15。

    { "requiresCompatibilities": [ "EC2" ], "containerDefinitions": [{ "command": [ "mkdir -p /test && cd /test && git clone -b r1.15 https://github.com/tensorflow/serving.git && tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=saved_model_half_plus_two --model_base_path=/test/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu" ], "entryPoint": [ "sh", "-c" ], "name": "tensorflow-inference-container", "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference:1.15.0-cpu-py36-ubuntu18.04", "memory": 8111, "cpu": 256, "essential": true, "portMappings": [{ "hostPort": 8500, "protocol": "tcp", "containerPort": 8500 }, { "hostPort": 8501, "protocol": "tcp", "containerPort": 8501 }, { "containerPort": 80, "protocol": "tcp" } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/tensorflow-inference-gpu", "awslogs-region": "us-east-1", "awslogs-stream-prefix": "half-plus-two", "awslogs-create-group": "true" } } }], "volumes": [], "networkMode": "bridge", "placementConstraints": [], "family": "tensorflow-inference" }
  2. 注册任务定义。请记下输出的内容,以便在下一步中下一步中下一步中下一步中下一步中下一步中一步中使用。

    aws ecs register-task-definition --cli-input-json file://ecs-dlc-cpu-inference-taskdef.json
  3. 创建 Amazon ECS 服务 指定任务定义时,revision_id替换为上一步输出中任务定义的修订版号。

    aws ecs create-service --cluster ecs-ec2-training-inference \ --service-name cli-ec2-inference-cpu \ --task-definition Ec2TFInference:revision_id \ --desired-count 1 \ --launch-type EC2 \ --scheduling-strategy="REPLICA" \ --region us-east-1
  4. 通过完成以下步骤来验证服务并获取网络终端节点。

    1. https://console.aws.amazon.com/ecs/v2 打开控制台。

    2. 选择 ecs-ec2-training-inference 集群。

    3. Cluster (集群) 页面上,选择 Services (服务),然后选择 cli-ec2-inference-cpu

    4. 任务处于RUNNING状态后,选择任务标识符。

    5. 在 “日志” 下,选择 “查看日志” CloudWatch。这将带您进入 CloudWatch 控制台查看训练进度日志。

    6. Containers (容器) 下,展开容器详细信息。

    7. 在 “名称” 和 “网络绑定” 下,在 “外部链接” 下记下端口 8501 的 IP 地址,并在下一步中使用。

  5. 要运行推理,请使用以下命令。将上一步开始添加其一步开始添加其名称。

    curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://<External ip>:8501/v1/models/saved_model_half_plus_two:predict

    下面是示例输出。

    { "predictions": [2.5, 3.0, 4.5 ] }
    重要

    如果您无法连接到外部 IP 地址,请确保您的公司防火墙未阻塞非标准端口,如 8501。您可以尝试切换至来宾网络来验证。

基于 GPU 的推断

使用以下示例运行基于 GPU 的推理。

  1. 使用以下内容创建名为 ecs-dlc-gpu-inference-taskdef.json 的文件。你可以将其与任一 TensorFlow 或 TensorFlow 2 一起使用。要将其与 TensorFlow 2 一起使用,请将 Docker 映像更改为 TensorFlow 2 映像,然后克隆 r2.0 服务存储库分支而不是 r1.15。

    { "requiresCompatibilities": [ "EC2" ], "containerDefinitions": [{ "command": [ "mkdir -p /test && cd /test && git clone -b r1.15 https://github.com/tensorflow/serving.git && tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=saved_model_half_plus_two --model_base_path=/test/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_gpu" ], "entryPoint": [ "sh", "-c" ], "name": "tensorflow-inference-container", "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference:1.15.0-gpu-py36-cu100-ubuntu18.04", "memory": 8111, "cpu": 256, "resourceRequirements": [{ "type": "GPU", "value": "1" }], "essential": true, "portMappings": [{ "hostPort": 8500, "protocol": "tcp", "containerPort": 8500 }, { "hostPort": 8501, "protocol": "tcp", "containerPort": 8501 }, { "containerPort": 80, "protocol": "tcp" } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/TFInference", "awslogs-region": "us-east-1", "awslogs-stream-prefix": "ecs", "awslogs-create-group": "true" } } }], "volumes": [], "networkMode": "bridge", "placementConstraints": [], "family": "TensorFlowInference" }
  2. 注册任务定义。请记下输出的内容,以便在下一步中下一步中下一步中下一步中下一步中下一步中一步中使用。

    aws ecs register-task-definition --cli-input-json file://ecs-dlc-gpu-inference-taskdef.json
  3. 创建 Amazon ECS 服务 指定任务定义时,revision_id替换为上一步输出中任务定义的修订版号。

    aws ecs create-service --cluster ecs-ec2-training-inference \ --service-name cli-ec2-inference-gpu \ --task-definition Ec2TFInference:revision_id \ --desired-count 1 \ --launch-type EC2 \ --scheduling-strategy="REPLICA" \ --region us-east-1
  4. 通过完成以下步骤来验证服务并获取网络终端节点。

    1. https://console.aws.amazon.com/ecs/v2 打开控制台。

    2. 选择 ecs-ec2-training-inference 集群。

    3. Cluster (集群) 页面上,选择 Services (服务),然后选择 cli-ec2-inference-cpu

    4. 任务处于RUNNING状态后,选择任务标识符。

    5. 在 “日志” 下,选择 “查看日志” CloudWatch。这将带您进入 CloudWatch 控制台查看训练进度日志。

    6. Containers (容器) 下,展开容器详细信息。

    7. 在 “名称” 和 “网络绑定” 下,在 “外部链接” 下记下端口 8501 的 IP 地址,并在下一步中使用。

  5. 要运行推理,请使用以下命令。将上一步开始添加其一步开始添加其名称。

    curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://<External ip>:8501/v1/models/saved_model_half_plus_two:predict

    下面是示例输出。

    { "predictions": [2.5, 3.0, 4.5 ] }
    重要

    如果您无法连接到外部 IP 地址,请确保您的公司防火墙未阻塞非标准端口,如 8501。您可以尝试切换至来宾网络来验证。

Apache MXNet(孵化)推断

您必须先注册任务定义,然后才能在 Amazon ECS 集群中运行任务定义,然后才能在 Amazon ECS 集群中运行任务定义,任务定义是分组在一起的一系列容器。以下示例使用示例 Docker 镜像,该镜像从主机的命令行向Deep Learning Containers 添加 CPU 或 GPU 推理脚本。

理推理推理推理推理推理

使用以下任务定义运行基于 CPU 的推理。

  1. 使用以下内容创建名为 ecs-dlc-cpu-inference-taskdef.json 的文件。

    { "requiresCompatibilities": [ "EC2" ], "containerDefinitions": [{ "command": [ "mxnet-model-server --start --mms-config /home/model-server/config.properties --models squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model" ], "name": "mxnet-inference-container", "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.6.0-cpu-py36-ubuntu16.04", "memory": 8111, "cpu": 256, "essential": true, "portMappings": [{ "hostPort": 8081, "protocol": "tcp", "containerPort": 8081 }, { "hostPort": 80, "protocol": "tcp", "containerPort": 8080 } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/mxnet-inference-cpu", "awslogs-region": "us-east-1", "awslogs-stream-prefix": "squeezenet", "awslogs-create-group": "true" } } }], "volumes": [], "networkMode": "bridge", "placementConstraints": [], "family": "mxnet-inference" }
  2. 注册任务定义。请记下输出的内容,以便在下一步中下一步中下一步中下一步中下一步中下一步中一步中使用。

    aws ecs register-task-definition --cli-input-json file://ecs-dlc-cpu-inference-taskdef.json
  3. 创建 Amazon ECS 服务 指定任务定义时,revision_id替换为上一步输出中任务定义的修订版号。

    aws ecs create-service --cluster ecs-ec2-training-inference \ --service-name cli-ec2-inference-cpu \ --task-definition Ec2TFInference:revision_id \ --desired-count 1 \ --launch-type EC2 \ --scheduling-strategy REPLICA \ --region us-east-1
  4. 验证服务并获取终端节点。

    1. https://console.aws.amazon.com/ecs/v2 打开控制台。

    2. 选择 ecs-ec2-training-inference 集群。

    3. Cluster (集群) 页面上,选择 Services (服务),然后选择 cli-ec2-inference-cpu

    4. 任务处于RUNNING状态后,选择任务标识符。

    5. 在 “日志” 下,选择 “查看日志” CloudWatch。这将带您进入 CloudWatch 控制台查看训练进度日志。

    6. Containers (容器) 下,展开容器详细信息。

    7. 在 “名称” 和 “网络绑定” 下,在 “外部链接” 下记下端口 8081 的 IP 地址,并在下一步中使用。

  5. 要运行推理,请使用以下命令。将上external IP一步开始添加其一步开始添加其地址。

    curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl -X POST http://<External ip>/predictions/squeezenet -T kitten.jpg

    下面是示例输出。

    [ { "probability": 0.8582226634025574, "class": "n02124075 Egyptian cat" }, { "probability": 0.09160050004720688, "class": "n02123045 tabby, tabby cat" }, { "probability": 0.037487514317035675, "class": "n02123159 tiger cat" }, { "probability": 0.0061649843119084835, "class": "n02128385 leopard, Panthera pardus" }, { "probability": 0.003171598305925727, "class": "n02127052 lynx, catamount" } ]
    重要

    如果您无法连接到外部 IP 地址,请确保您的企业防火墙不会阻止非标准端口,如 8081。您可以尝试切换至来宾网络来验证。

基于 GPU 的推断

使用以下任务定义运行基于 GPU 的推理。

{ "requiresCompatibilities": [ "EC2" ], "containerDefinitions": [{ "command": [ "mxnet-model-server --start --mms-config /home/model-server/config.properties --models squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model" ], "name": "mxnet-inference-container", "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.6.0-gpu-py36-cu101-ubuntu16.04", "memory": 8111, "cpu": 256, "resourceRequirements": [{ "type": "GPU", "value": "1" }], "essential": true, "portMappings": [{ "hostPort": 8081, "protocol": "tcp", "containerPort": 8081 }, { "hostPort": 80, "protocol": "tcp", "containerPort": 8080 } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/mxnet-inference-gpu", "awslogs-region": "us-east-1", "awslogs-stream-prefix": "squeezenet", "awslogs-create-group": "true" } } }], "volumes": [], "networkMode": "bridge", "placementConstraints": [], "family": "mxnet-inference" }
  1. 使用以下命令注册任务定义。请记下输出的内容,以便在下一步中下一步中下一步中下一步中下一步中使用。

    aws ecs register-task-definition --cli-input-json file://<Task definition file>
  2. 要创建服务,请在以下命令中将 revision_id 替换为上一步中的输出。

    aws ecs create-service --cluster ecs-ec2-training-inference \ --service-name cli-ec2-inference-gpu \ --task-definition Ec2TFInference:<revision_id> \ --desired-count 1 \ --launch-type "EC2" \ --scheduling-strategy REPLICA \ --region us-east-1
  3. 验证服务并获取终端节点。

    1. https://console.aws.amazon.com/ecs/v2 打开控制台。

    2. 选择 ecs-ec2-training-inference 集群。

    3. Cluster (集群) 页面上,选择 Services (服务),然后选择 cli-ec2-inference-cpu

    4. 任务处于RUNNING状态后,选择任务标识符。

    5. 在 “日志” 下,选择 “查看日志” CloudWatch。这将带您进入 CloudWatch 控制台查看训练进度日志。

    6. Containers (容器) 下,展开容器详细信息。

    7. 在 “名称” 和 “网络绑定” 下,在 “外部链接” 下记下端口 8081 的 IP 地址,并在下一步中使用。

  4. 要运行推理,请使用以下命令。将上external IP一步开始添加其一步开始添加其地址。

    curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl -X POST http://<External ip>/predictions/squeezenet -T kitten.jpg

    下面是示例输出。

    [
      {
        "probability": 0.8582226634025574,
        "class": "n02124075 Egyptian cat"
      },
      {
        "probability": 0.09160050004720688,
        "class": "n02123045 tabby, tabby cat"
      },
      {
        "probability": 0.037487514317035675,
        "class": "n02123159 tiger cat"
      },
      {
        "probability": 0.0061649843119084835,
        "class": "n02128385 leopard, Panthera pardus"
      },
      {
        "probability": 0.003171598305925727,
        "class": "n02127052 lynx, catamount"
      }
    ]
    重要

    如果您无法连接到外部 IP 地址,请确保您的企业防火墙不会阻止非标准端口,如 8081。您可以尝试切换至来宾网络来验证。

PyTorch 理推理推理

您必须先注册任务定义,然后才能在 Amazon ECS 集群中运行任务定义,然后才能在 Amazon ECS 集群中运行任务定义,任务定义是分组在一起的一系列容器。以下示例使用了向Deep Learning Containers 添加 CPU 或 GPU 推理脚本的 Docker 示例。

理推理推理推理推理推理

使用以下任务定义运行基于 CPU 的推理。

  1. 使用以下内容创建名为 ecs-dlc-cpu-inference-taskdef.json 的文件。

    { "requiresCompatibilities": [ "EC2" ], "containerDefinitions": [{ "command": [ "mxnet-model-server --start --mms-config /home/model-server/config.properties --models densenet=https://dlc-samples.s3.amazonaws.com/pytorch/multi-model-server/densenet/densenet.mar" ], "name": "pytorch-inference-container", "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:1.3.1-cpu-py36-ubuntu16.04", "memory": 8111, "cpu": 256, "essential": true, "portMappings": [{ "hostPort": 8081, "protocol": "tcp", "containerPort": 8081 }, { "hostPort": 80, "protocol": "tcp", "containerPort": 8080 } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/densenet-inference-cpu", "awslogs-region": "us-east-1", "awslogs-stream-prefix": "densenet", "awslogs-create-group": "true" } } }], "volumes": [], "networkMode": "bridge", "placementConstraints": [], "family": "pytorch-inference" }
  2. 注册任务定义。请记下输出的内容,以便在下一步中下一步中下一步中下一步中下一步中下一步中一步中使用。

    aws ecs register-task-definition --cli-input-json file://ecs-dlc-cpu-inference-taskdef.json
  3. 创建 Amazon ECS 服务 指定任务定义时,revision_id替换为上一步输出中任务定义的修订版号。

    aws ecs create-service --cluster ecs-ec2-training-inference \ --service-name cli-ec2-inference-cpu \ --task-definition Ec2PTInference:revision_id \ --desired-count 1 \ --launch-type EC2 \ --scheduling-strategy REPLICA \ --region us-east-1
  4. 通过完成以下步骤来验证服务并获取网络终端节点。

    1. https://console.aws.amazon.com/ecs/v2 打开控制台。

    2. 选择 ecs-ec2-training-inference 集群。

    3. Cluster (集群) 页面上,选择 Services (服务),然后选择 cli-ec2-inference-cpu

    4. 任务处于某种RUNNING状态后,选择任务标识符。

    5. 在 “日志” 下,选择 “查看日志” CloudWatch。这将带您进入 CloudWatch 控制台查看训练进度日志。

    6. Containers (容器) 下,展开容器详细信息。

    7. 在 “名称” 和 “网络绑定” 下,在 “外部链接” 下记下端口 8081 的 IP 地址,并在下一步中使用。

  5. 要运行推理,请使用以下命令。将上external IP一步开始添加其一步开始添加其地址。

    curl -O https://s3.amazonaws.com/model-server/inputs/flower.jpg curl -X POST http://<External ip>/predictions/densenet -T flower.jpg
    重要

    如果您无法连接到外部 IP 地址,请确保您的企业防火墙不会阻止非标准端口,如 8081。您可以尝试切换至来宾网络来验证。

基于 GPU 的推断

使用以下任务定义运行基于 GPU 的推理。

{ "requiresCompatibilities": [ "EC2" ], "containerDefinitions": [{ "command": [ "mxnet-model-server --start --mms-config /home/model-server/config.properties --models densenet=https://dlc-samples.s3.amazonaws.com/pytorch/multi-model-server/densenet/densenet.mar" ], "name": "pytorch-inference-container", "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-inference:1.3.1-gpu-py36-cu101-ubuntu16.04", "memory": 8111, "cpu": 256, "essential": true, "portMappings": [{ "hostPort": 8081, "protocol": "tcp", "containerPort": 8081 }, { "hostPort": 80, "protocol": "tcp", "containerPort": 8080 } ], "logConfiguration": { "logDriver": "awslogs", "options": { "awslogs-group": "/ecs/densenet-inference-cpu", "awslogs-region": "us-east-1", "awslogs-stream-prefix": "densenet", "awslogs-create-group": "true" } } }], "volumes": [], "networkMode": "bridge", "placementConstraints": [], "family": "pytorch-inference" }
  1. 使用以下命令注册任务定义。请记下输出的内容,以便在下一步中下一步中下一步中下一步中下一步中使用。

    aws ecs register-task-definition --cli-input-json file://<Task definition file>
  2. 要创建服务,请在以下命令中将 revision_id 替换为上一步中的输出。

    aws ecs create-service --cluster ecs-ec2-training-inference \ --service-name cli-ec2-inference-gpu \ --task-definition Ec2PTInference:<revision_id> \ --desired-count 1 \ --launch-type "EC2" \ --scheduling-strategy REPLICA \ --region us-east-1
  3. 通过完成以下步骤来验证服务并获取网络终端节点。

    1. https://console.aws.amazon.com/ecs/v2 打开控制台。

    2. 选择 ecs-ec2-training-inference 集群。

    3. Cluster (集群) 页面上,选择 Services (服务),然后选择 cli-ec2-inference-cpu

    4. 任务处于RUNNING状态后,选择任务标识符。

    5. 在 “日志” 下,选择 “查看日志” CloudWatch。这将带您进入 CloudWatch 控制台查看训练进度日志。

    6. Containers (容器) 下,展开容器详细信息。

    7. 在 “名称” 和 “网络绑定” 下,在 “外部链接” 下记下端口 8081 的 IP 地址,并在下一步中使用。

  4. 要运行推理,请使用以下命令。将上external IP一步开始添加其一步开始添加其地址。

    curl -O https://s3.amazonaws.com/model-server/inputs/flower.jpg curl -X POST http://<External ip>/predictions/densenet -T flower.jpg
    重要

    如果您无法连接到外部 IP 地址,请确保您的企业防火墙不会阻止非标准端口,如 8081。您可以尝试切换至来宾网络来验证。

后续步骤

要了解如何在 Amazon ECS 上将自定义入口点与Deep Learning Containers 一起使用,请参阅自定义入口点