Amaz Amazon Batch on EKS 私有集群入门

Amazon Batch 是一项托管服务，可在您的亚马逊 Elastic Kubernetes Service（亚马逊 EKS）集群中协调批处理工作负载。这包括队列、依赖关系跟踪、托管作业重试次数和优先级、Pod 管理和节点扩展。此功能可将您现有的私有 Amazon EKS 集群 Amazon Batch 与连接起来，从而大规模运行您的任务。您可以使用 eksctl（Amazon EKS 的命令行界面）、 Amazon 控制台或创建包含所有其他必要资源的私有 Amazon EKS 集群。Amazon Command Line Interface上对私有 Amazon EKS 集群的支持 Amazon Batch 通常在商业版中提供（ Amazon Web Services 区域Amazon Batch如果有）。

Amazon EKS 仅限私有集群没有入站/出站互联网访问权限，只有私有子网。Amazon VPC 终端节点用于允许私密访问其他 Amazon 服务。 eksctl支持使用预先存在的 Amazon VPC 和子网创建完全私有集群。 eksctl还会在提供的亚马逊 VPC 中创建 Amazon VPC 终端节点，并修改所提供子网的路由表。

每个子网都应有一个与之关联的显式路由表，因为eksctl不会修改主路由表。您的集群必须从您的 Amazon VPC 中的容器注册表中提取映像。此外，您还可以在您的 Amazon VPC 中创建 Amazon 弹性容器注册表，并将容器映像复制到该注册表中，供您的节点从中提取。有关更多信息，请参阅将容器镜像从一个存储库复制到另一个存储库。要开始使用 Amazon ECR 私有存储库，请参阅 Amazon ECR 私有存储库。

您可以选择使用 Amazon ECR 创建直通缓存规则。为外部公共注册表创建了拉取缓存规则后，您可以使用您的 Amazon ECR 私有注册表 uriform 资源标识符 (URI) 从该外部公共注册表中提取映像。然后，Amazon ECR 会创建一个存储库并缓存映像。使用 Amazon ECR 私有注册表 URI 提取缓存图像时，Amazon ECR 会检查远程注册表以查看是否有新版本的映像，并最多每 24 小时更新一次您的私有注册表。

先决条件

在开始本教程之前，您必须安装和配置以下工具和资源，以便创建和管理两者 Amazon Batch 以及 Amazon EKS 资源。您还需要创建所有必要的资源，包括 VPC、子网、路由表、VPC 终端节点和 Amazon EKS 集群。你需要使用 Amazon CLI.

步骤 1：为 EKS 集群做好准备 Amazon Batch

必须完成所有步骤。

第 2 步：创建 Amazon EKS 计算环境

Amazon Batch 计算环境定义计算资源参数以满足您的批处理工作负载需求。在托管计算环境中， Amazon Batch 帮助您管理 Amazon EKS 集群中计算资源（Kubernetes节点）的容量和实例类型。这是基于您在创建计算环境时定义的计算资源规范。您可以使用 EC2 按需型实例或 EC2 竞价型实例。

现在，AWSServiceRoleForBatch服务相关角色可以访问您的 Amazon EKS 集群，您可以创建 Amazon Batch 资源了。首先，创建一个指向 Amazon EKS 集群的计算环境。

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-the-image-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

第 3 步：创建作业队列并连接计算环境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交到这个新任务队列的任务在加入与您的计算环境关联的 Amazon EKS 集群的 Amazon Batch 托管节点上以 Pod 的形式运行。

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步骤 4：创建作业定义

在作业定义的图像字段中，与其提供指向公共 ECR 存储库中图像的链接，不如提供指向我们私有 ECR 存储库中存储的图像的链接。参见以下作业定义示例：

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "account-id.dkr.ecr.region.amazonaws.com/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

要运行 kubectl 命令，您需要私有访问您的 Amazon EKS 集群。这意味着所有流向集群 API 服务器的流量都必须来自集群的 VPC 或连接的网络。

第 5 步：提交作业

$ aws batch submit-job - -job-queue My-Eks-JQ1 \
    - -job-definition MyJobOnEks_Sleep - -job-name My-Eks-Job1
$ aws batch describe-jobs - -job <jobId-from-submit-response>

（可选）提交带有优先级的作业

此作业会覆盖传递给容器的命令。

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF
$ aws batch submit-job - -cli-input-json file://./submit-job-override.json

故障排除

如果由 Amazon Batch 启动的节点无权访问存储您的映像的 Amazon ECR 存储库（或任何其他存储库），则您的任务可能会保持 “启动” 状态。这是因为 pod 将无法下载镜像并运行您的 Amazon Batch 作业。如果你点击启动的 pod 名称， Amazon Batch 你应该能够看到错误消息并确认问题。错误消息应类似于以下内容：

Failed to pull image "public.ecr.aws/amazonlinux/amazonlinux:2": rpc error: code =
Unknown desc = failed to pull and unpack image
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to resolve reference
"public.ecr.aws/amazonlinux/amazonlinux:2": failed to do request: Head
"https://public.ecr.aws/v2/amazonlinux/amazonlinux/manifests/2": dial tcp: i/o timeout

有关其他常见的故障排除方案，请参阅故障排除 Amazon Batch。有关基于 pod 状态的故障排除，请参阅如何对 Amazon EKS 中的容器状态进行故障排除？ 。