在 Amazon ECS 上使用 GPU

Amazon ECS 通过使您能够使用支持 GPU 的容器实例创建集群来支持利用 GPU 的工作负载。使用 p2、p3、p4d、g3、g4 和 g5 实例类型的基于 GPU 的 Amazon EC2 容器实例提供对 NVIDIA GPU 的访问权限。有关更多信息，请参阅适用于 Linux 实例的 Amazon EC2 用户指南中的 Linux 加速计算实例。

Amazon ECS 提供了经 GPU 优化的 AMI，后者附带了预配置的 NVIDIA 内核驱动程序和 Docker GPU 运行时。有关更多信息，请参阅经 Amazon ECS 优化的 AMI。

您可以在任务定义中指定多个 GPU，以便在容器级别考虑任务放置。Amazon ECS 将安排可用的支持 GPU 的容器实例并将物理 GPU 固定到正确的容器以获得最佳性能。

支持以下基于 GPU 的 Amazon EC2 实例类型。有关更多信息，请参阅 Amazon EC2 P2 实例、Amazon EC2 P3 实例、Amazon EC2 P4d 实例、Amazon EC2 G3 实例、Amazon EC2 G4 实例和 Amazon EC2 G5 实例。

注意事项

在 Amazon ECS 上使用 GPU 之前，请注意以下事项：

在任务定义中指定 GPU

要在容器实例和 Docker GPU 运行时上利用 GPU，请确保在任务定义中指定容器所需的 GPU 数量。由于已放置支持 GPU 的容器，因此 Amazon ECS 容器代理会将所需数量的物理 GPU 固定到相应的容器中。为某个任务中的所有容器预留的 GPU 的数量不应超过该任务在其上启动的容器实例的可用 GPU 的数量。有关更多信息，请参阅使用新控制台创建任务定义。

下面显示了任务定义中的 GPU 要求的 JSON 格式：

{
  "containerDefinitions": [
     {
        ...
        "resourceRequirements" : [
            {
               "type" : "GPU", 
               "value" : "2"
            }
        ],
     },
...
}

以下示例演示了指定 GPU 要求的 Docker 容器的语法。此容器使用 2 个 GPU，运行 nvidia-smi 实用程序，然后退出。

{
  "containerDefinitions": [
    {
      "memory": 80,
      "essential": true,
      "name": "gpu",
      "image": "nvidia/cuda:11.0-base",
      "resourceRequirements": [
         {
           "type":"GPU",
           "value": "2"
         }
      ],
      "command": [
        "sh",
        "-c",
        "nvidia-smi"
      ],
      "cpu": 100
    }
  ],
  "family": "example-ecs-gpu"
}