Amazon Elastic Container Service

开发人员指南 (API 版本 2014-11-13)

AWS 文档 » Amazon ECS » 开发人员指南 » Amazon ECS 任务定义 » 在 Amazon ECS 上使用 GPU

在 Amazon ECS 上使用 GPU

Amazon ECS 通过使您能够使用支持 GPU 的容器实例创建集群来支持利用 GPU 的工作负载。使用 p2 和 p3 实例类型的基于 GPU 的 Amazon EC2 容器实例提供对 NVIDIA GPU 的访问权限。有关更多信息，请参阅 Amazon EC2 用户指南（适用于 Linux 实例） 中的 Linux 加速计算实例。

Amazon ECS 提供了经过 GPU 优化的 AMI，后者附带了预配置的 NVIDIA 内核驱动程序和 Docker GPU 运行时。有关更多信息，请参阅Amazon ECS-optimized AMI。

您可以在任务定义中指定多个 GPU，以便在容器级别考虑任务放置。Amazon ECS 将安排可用的支持 GPU 的容器实例并将物理 GPU 固定到正确的容器以获得最佳性能。

支持以下基于 GPU 的 Amazon EC2 实例类型。有关更多信息，请参阅 Amazon EC2 P2 实例、Amazon EC2 P3 实例、Amazon EC2 G3 实例和 Amazon EC2 G4 实例。

有关使用 GPU 的注意事项

在 Amazon ECS 上使用 GPU 之前，请注意以下事项：

在任务定义中指定 GPU

要在容器实例和 Docker GPU 运行时上利用 GPU，请确保在任务定义中指定容器所需的 GPU 数量。由于已放置支持 GPU 的容器，因此 Amazon ECS 容器代理会将所需数量的物理 GPU 固定到相应的容器中。为某个任务中的所有容器预留的 GPU 的数量不应超过该任务在其上启动的容器实例的可用 GPU 的数量。有关更多信息，请参阅创建任务定义。

下面显示了任务定义中的 GPU 要求的 JSON 格式：

{
  "containerDefinitions": [
     {
        ...
        "resourceRequirements" : [
            {
               "type" : "GPU", 
               "value" : "2"
            }
        ],
     },
...
}

以下示例演示了指定 GPU 要求的 Docker 容器的语法。此容器使用 2 个 GPU，运行 nvidia-smi 实用程序，然后退出。

{
  "containerDefinitions": [
    {
      "memory": 80,
      "essential": true,
      "name": "gpu",
      "image": "nvidia/cuda:9.0-base",
      "resourceRequirements": [
         {
           "type":"GPU",
           "value": "2"
         }
      ],
      "command": [
        "sh",
        "-c",
        "nvidia-smi"
      ],
      "cpu": 100
    }
  ],
  "family": "example-ecs-gpu"
}

本页内容：

• 有关使用 GPU 的注意事项
• 在任务定义中指定 GPU