在 Amazon ECS 任务定义中指定 GPU 数

要在容器实例和 Docker GPU 运行时上使用 GPU，请确保在任务定义中指定容器所需的 GPU 数量。您可以指定整数值、小数值（适用于分片 GPU）或 ALL。当指定 ALL 时，容器实例上的所有 GPU 都将分配给容器。如果指定小数值（例如 0.25），Amazon ECS 会将任务放置到提供所请求 GPU 容量的分片 GPU 实例上。由于已放置支持 GPU 的容器，Amazon ECS 容器代理会将所需数量的物理 GPU 固定到相应的容器中。为某个任务中的所有容器预留的 GPU 的数量不能超过该任务在其上启动的容器实例的可用 GPU 的数量。有关更多信息，请参阅 使用控制台创建 Amazon ECS 任务定义。

下面显示了任务定义中的 GPU 要求的 JSON 格式：

{
  "containerDefinitions": [
     {
        ...
        "resourceRequirements" : [
            {
               "type" : "GPU", 
               "value" : "2"
            }
        ],
     },
...
}

要将容器实例上的所有 GPU 分配给容器，也可以将容器实例上 ALL 指定为值而非数字。

以下示例演示了指定 GPU 要求的 Docker 容器的语法。此容器使用两个 GPU，运行 nvidia-smi 实用程序，然后退出。

{
  "containerDefinitions": [
    {
      "memory": 80,
      "essential": true,
      "name": "gpu",
      "image": "nvidia/cuda:11.0.3-base",
      "resourceRequirements": [
         {
           "type":"GPU",
           "value": "2"
         }
      ],
      "command": [
        "sh",
        "-c",
        "nvidia-smi"
      ],
      "cpu": 100
    }
  ],
  "family": "example-ecs-gpu"
}

以下示例任务定义展示了一个打印可用 GPU 数量的 TensorFlow 容器。该任务在 Amazon ECS 托管实例上运行，需要一个 GPU，并使用 g4dn.xlarge 实例。

{
  "family": "tensorflow-gpu",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "tensorflow",
      "image": "tensorflow/tensorflow:latest-gpu",
      "essential": true,
      "command": [
        "python",
        "-c",
        "import tensorflow as tf; print('Num GPUs Available: ', len(tf.config.list_physical_devices('GPU')))"
      ],
      "resourceRequirements": [
        {
          "type": "GPU",
          "value": "1"
        }
      ],
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "/ecs/tensorflow-gpu",
          "awslogs-region": "region",
          "awslogs-stream-prefix": "ecs"
        }
      }
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "4096",
  "memory": "8192",
}

指定分片 GPU

Amazon ECS 支持在 Amazon EC2 G6f 实例上进行分片 GPU 调度。G6f 实例提供 NVIDIA L4 GPU 的硬件分区式分片，每个实例会提供一个固定 GPU 分片（1/8、1/4 或 1/2），并具有专属 GPU 内存和计算资源。要使用分片 GPU，请在容器定义的 resourceRequirements 中指定一个小数值：

"resourceRequirements": [
  {
    "type": "GPU",
    "value": "0.25"
  }
]

支持的分片值及其对应的 G6f 实例类型如下：

以下示例任务定义在一个具有 1/4 NVIDIA L4 GPU（6 GB GPU 内存）的分片 GPU 上运行一个轻量级推理容器：

{
  "family": "fractional-gpu-inference",
  "networkMode": "awsvpc",
  "executionRoleArn": "arn:aws:iam::account-id:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "name": "inference",
      "image": "nvidia/cuda:12.0.0-base-ubuntu22.04",
      "essential": true,
      "command": ["nvidia-smi"],
      "resourceRequirements": [
        {
          "type": "GPU",
          "value": "0.25"
        }
      ],
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "/ecs/fractional-gpu-inference",
          "awslogs-region": "region",
          "awslogs-stream-prefix": "ecs"
        }
      }
    }
  ],
  "requiresCompatibilities": [
    "MANAGED_INSTANCES"
  ],
  "cpu": "2048",
  "memory": "4096"
}

分片 GPU 注意事项