通过 AmazAmazon Batch on EKS 开始使用

Amazon Batchon Amazon EKS 是一项托管服务，用于将批量工作负载调度并扩展到现有 EKS 集群中。 Amazon Batch不代表您创建、管理或执行 EKS 集群的生命周期操作。 Amazon Batch编排向上和向下扩展由这些节点管理的节点Amazon Batch，并在这些节点上运行 pod。

Amazon Batch不会触及与 EKS 集群中的Amazon Batch计算环境无关的节点、auto 扩展节点组或 pod 生命周期。Amazon Batch为了有效运行，其服务相关Kubernetes角色需要在现有 EKS 集群中拥有基于角色的访问控制 (RBAC) 权限。有关更多信息，请参阅Kubernetes文档中的使用 RBAC 授权。

Amazon Batch需要一个Kubernetes命名空间，在该命名空间中，它可以将 pod 作为Amazon Batch任务的作用域。我们建议使用专用的命名空间，将Amazon Batch pod 与其他集群工作负载隔离开来。

Amazon Batch在获得 RBAC 访问权限并建立命名空间后，您可以使用 CreateComputeEnvironmentAPI 操作将该 EKS 集群关联到Amazon Batch计算环境。任务队列可以与这个新的 EKS 计算环境相关联。 Amazon Batch使用 SubmitJobAPI 操作根据 EKS 任务定义将任务提交到任务队列。 Amazon Batch然后启动Amazon Batch托管节点，将任务队列中的任务作为Kubernetes pod 放入与Amazon Batch计算环境关联的 EKS 集群。

以下部分介绍如何设置 AmazAmazon Batch on EKS。

先决条件

在开始使用本教程之前，您必须安装和配置创建和管理 Amazon EKS 资源所需要的以下工具Amazon Batch和资源。

步骤 1：为您的 EKS 集群做准备Amazon Batch

必须完成的所有步骤。

步骤 2：创建 Amazon EKS 计算环境

Amazon Batch计算环境定义计算资源参数以满足您的批处理工作负载需求。在托管计算环境中，Amazon Batch用以管理您的 Amazon EKS 集群中计算资源（Kubernetes节点）的容量和实例类型。这基于您在创建计算环境时定义的计算资源规范。您可以使用 EC2 按需实例或 EC2 竞价型实例。

现在，AWSServiceRoleForBatch服务相关角色可以访问您的 Amazon EKS 集群，您可以创建Amazon Batch资源了。首先，创建一个指向您的 Amazon EKS 集群的计算环境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

步骤 3：创建任务队列并连接计算环境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交到这个新任务队列的任务将作为 pod 在加入与您的计算环境关联的 Amazon EKS 集群的Amazon Batch托管节点上运行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步骤 4：创建任务定义

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ]
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

步骤 5：提交任务

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1
$ aws batch describe-jobs --job <jobId-from-submit-response>

（可选）提交带有替代项的作业

此任务会覆盖传递给容器的命令。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json