亚马逊 EK Amazon Batch S 入门

Amazon Batch On Amazon EKS 是一项托管服务，用于调度批处理工作负载并将其扩展到现有 Amazon EKS 集群中。 Amazon Batch 不会代表您创建、管理您的 Amazon EKS 集群或执行其生命周期操作。 Amazon Batch 编排向上和向下扩展由这些节点管理的节点 Amazon Batch ，并在这些节点上运行 pod。

Amazon Batch 不会触及与 Amazon EKS 集群中的 Amazon Batch 计算环境无关的节点、自动扩展节点组或 pod 生命周期。 Amazon Batch 为了有效运行，其服务相关角色需要在现有 Amazon EKS 集群中具有Kubernetes基于角色的访问控制 (RBAC) 权限。有关更多信息，请参阅 Kubernetes 文档中的使用 RBAC 授权。

Amazon Batch 需要一个Kubernetes命名空间，它可以在其中将 pod 限定为 Amazon Batch 作业。我们建议使用专用的命名空间将 Amazon Batch Pod 与其他集群工作负载隔离开来。

Amazon Batch 获得 RBAC 访问权限并建立命名空间后，您可以使用 CreateComputeEnvironmentAPI 操作将该 Amazon EKS 集群关联到 Amazon Batch 计算环境。任务队列可以与这个新的 Amazon EKS 计算环境相关联。 Amazon Batch 根据 Amazon EKS 任务定义，使用 SubmitJobAPI 操作将任务提交到任务队列。 Amazon Batch 然后启动 Amazon Batch 托管节点，并将作业队列中的作业作为 Kubernetes pod 放入与 Amazon Batch 计算环境关联的 EKS 集群中。

以下各节介绍如何在 Amazon EKS Amazon Batch 上进行设置。

先决条件

在开始本教程之前，您必须安装和配置以下工具和资源，以便创建和管理两者 Amazon Batch 以及 Amazon EKS 资源。

第 1 步：为您的 Amazon EKS 集群做好准备 Amazon Batch

必须完成所有步骤。

第 2 步：创建 Amazon EKS 计算环境

Amazon Batch 计算环境定义计算资源参数以满足您的批处理工作负载需求。在托管计算环境中， Amazon Batch 帮助您管理 Amazon EKS 集群中计算资源（Kubernetes节点）的容量和实例类型。这是基于您在创建计算环境时定义的计算资源规范。您可以使用 EC2 按需型实例或 EC2 竞价型实例。

现在，AWSServiceRoleForBatch服务相关角色可以访问您的 Amazon EKS 集群，您可以创建 Amazon Batch 资源了。首先，创建一个指向 Amazon EKS 集群的计算环境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

第 3 步：创建作业队列并连接计算环境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交到这个新任务队列的任务在加入与您的计算环境关联的 Amazon EKS 集群的 Amazon Batch 托管节点上以 Pod 的形式运行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步骤 4：创建作业定义

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

第 5 步：提交作业

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1
$ aws batch describe-jobs --job <jobId-from-submit-response>

（可选）提交带有优先级的作业

此作业会覆盖传递给容器的命令。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json