开始使用 Amazon EKS 上的 Amazon Batch - Amazon Batch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用 Amazon EKS 上的 Amazon Batch

Amazon EKS 的 Amazon Batch 是一项托管服务,用于将批处理工作负载调度和扩展到现有 EKS 集群中。Amazon Batch 不会代表您创建、管理或执行您的 EKS 集群生命周期操作。Amazon Batch 编排向上和向下扩展由 Amazon Batch 管理的节点,并在这些节点上运行容器组(pod)。

Amazon Batch 不会触及与 EKS 集群中的 Amazon Batch 计算环境无关的节点、自动扩缩节点组或容器组(pod)生命周期。为了 Amazon Batch 有效运行,其服务相关角色需要在现有 EKS 集群中具有 Kubernetes 基于角色的访问控制(RBAC))权限。有关更多信息,请参阅 Kubernetes 文档中的使用 RBAC 授权

Amazon Batch 需要一个 Kubernetes 命名空间,它可以在其中将容器组(pod)限定为 Amazon Batch 作业。我们建议使用专用的命名空间将 Amazon Batch 容器组(pod)与其他集群工作负载隔离开来。

Amazon Batch 获得 RBAC 访问权限并建立命名空间后,您可以使用 CreateComputeEnvironment API 操作将该 EKS 集群关联到 Amazon Batch 计算环境。作业队列可以与这个新的 EKS 计算环境相关联。使用 SubmitJob API 操作基于 EKS 作业定义将 Amazon Batch 作业提交到作业队列。然后 Amazon Batch 启动 Amazon Batch 托管节点,并将作业队列中的作业作为 Kubernetes 容器组(pod)放入与 Amazon Batch 计算环境关联的 EKS 集群中。

以下各节介绍如何在 Amazon EKS 上设置好 Amazon Batch。

先决条件

在开始使用本教程之前,您必须安装并配置创建和管理 Amazon Batch 和 Amazon EKS 资源所需的以下工具和资源。

  • Amazon CLI – 与 Amazon 服务一起使用的命令行工具,包括 Amazon EKS。本指南要求您使用 2.8.6 版或更高版本,或者 1.26.0 版或更高版本。有关更多信息,请参阅 Amazon Command Line Interface 用户指南中的安装、更新和卸载 Amazon CLI。在安装 Amazon CLI 后,建议您还要对其进行配置。有关更多信息,请参阅 Amazon Command Line Interface 用户指南中的如何使用 aws configure 快速配置

  • kubectl – 用于与 Kubernetes 集群一起使用的命令行工具。本指南要求您使用 1.23 版或更高版本。有关更多信息,请参阅《Amazon EKS 用户指南》中的安装或更新 kubectl

  • eksctl – 用于处理 EKS 集群的命令行工具,该工具可自动执行许多单独任务。本指南要求您使用 0.115.0 版或更高版本。有关更多信息,请参阅《Amazon EKS 用户指南》中的安装或更新 eksctl

  • 所需的 IAM 权限 – 您正在使用的 IAM 安全主体必须具有使用 Amazon EKS IAM 角色和服务相关角色的权限、Amazon CloudFormation 以及 VPC 和相关资源。有关更多信息,请参阅 IAM 用户指南中的用于 Amazon Elastic Kubernetes Service 的操作、资源和条件密钥使用服务相关角色。您必须以同一用户身份完成本指南中的所有步骤。

  • 创建 EKS 集群 — 有关更多信息,请参阅 Amazon EKS 用户指南中的 Amazon EKS – eksctl 入门

    注意

    Amazon Batch 仅支持具有 API 服务器终端节点的 EKS 集群,这些终端节点具有公共访问权限,可供公共互联网访问。默认情况下,EKS 集群 API 服务器终端节点具有公共访问权限。有关更多信息,请参阅《Amazon EKS 用户指南》中的 Amazon EKS 集群端点访问控制

    注意

    Amazon Batch 不为 CoreDNS 或其他部署容器组(pod)提供托管节点编排。如果您需要 CoreDNS,请参阅 Amazon EKS 用户指南中的添加 CoreDNS Amazon EKS 插件。或者,使用 eksctl create cluster create 创建集群,默认情况下它包含 CoreDNS。

  • 权限 — 调用 CreateComputeEnvironment API 操作来创建使用 EKS 资源的计算环境的用户需要 eks:DescribeCluster API 操作权限。使用 Amazon Web Services Management Console 来创建使用 EKS 资源的计算资源需要 eks:DescribeClustereks:ListClusters 的权限。

第 1 步:为 Amazon Batch 准备好 EKS 集群

必须完成所有步骤。

  1. 为 Amazon Batch 作业创建专用的命名空间

    kubectl 以创建新的命名空间。

    $ namespace=my-aws-batch-namespace $ cat - <<EOF | kubectl create -f - { "apiVersion": "v1", "kind": "Namespace", "metadata": { "name": "${namespace}", "labels": { "name": "${namespace}" } } } EOF namespace/my-aws-batch-namespace created
  2. 通过基于角色的访问控制(RBAC)启用访问权限

    kubectl 为集群创建 Kubernetes 角色以允许 Amazon Batch 监视节点和容器组(pod),并用于绑定该角色。您必须为每个 EKS 集群执行一次此操作。

    注意

    有关使用 RBAC 授权的更多信息,请参阅 Kubernetes 文档中的使用 RBAC 授权

    $ cat - <<EOF | kubectl apply -f - apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: aws-batch-cluster-role rules: - apiGroups: [""] resources: ["namespaces"] verbs: ["get"] - apiGroups: [""] resources: ["nodes"] verbs: ["get", "list", "watch"] - apiGroups: [""] resources: ["pods"] verbs: ["get", "list", "watch"] - apiGroups: [""] resources: ["configmaps"] verbs: ["get", "list", "watch"] - apiGroups: ["apps"] resources: ["daemonsets", "deployments", "statefulsets", "replicasets"] verbs: ["get", "list", "watch"] - apiGroups: ["rbac.authorization.k8s.io"] resources: ["clusterroles", "clusterrolebindings"] verbs: ["get", "list"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: aws-batch-cluster-role-binding subjects: - kind: User name: aws-batch apiGroup: rbac.authorization.k8s.io roleRef: kind: ClusterRole name: aws-batch-cluster-role apiGroup: rbac.authorization.k8s.io EOF clusterrole.rbac.authorization.k8s.io/aws-batch-cluster-role created clusterrolebinding.rbac.authorization.k8s.io/aws-batch-cluster-role-binding created

    为 Amazon Batch 创建名称空间范围的 Kubernetes 角色,用于管理和绑定生命周期容器组(pod)。必须为每个唯一的命名空间执行一次此操作。

    $ namespace=my-aws-batch-namespace $ cat - <<EOF | kubectl apply -f - --namespace "${namespace}" apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: aws-batch-compute-environment-role namespace: ${namespace} rules: - apiGroups: [""] resources: ["pods"] verbs: ["create", "get", "list", "watch", "delete", "patch"] - apiGroups: [""] resources: ["serviceaccounts"] verbs: ["get", "list"] - apiGroups: ["rbac.authorization.k8s.io"] resources: ["roles", "rolebindings"] verbs: ["get", "list"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: aws-batch-compute-environment-role-binding namespace: ${namespace} subjects: - kind: User name: aws-batch apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: aws-batch-compute-environment-role apiGroup: rbac.authorization.k8s.io EOF role.rbac.authorization.k8s.io/aws-batch-compute-environment-role created rolebinding.rbac.authorization.k8s.io/aws-batch-compute-environment-role-binding created

    更新 Kubernetes aws-auth 配置映射以将前面的 RBAC 权限映射到 Amazon Batch 服务相关角色。

    $ eksctl create iamidentitymapping \ --cluster my-cluster-name \ --arn "arn:aws:iam::<your-account>:role/AWSServiceRoleForBatch" \ --username aws-batch 2022-10-25 20:19:57 [ℹ] adding identity "arn:aws:iam::<your-account>:role/AWSServiceRoleForBatch" to auth ConfigMap
    注意

    已从服务相关角色的 ARN 中删除路径aws-service-role/batch.amazonaws.com/。这是因为 aws-auth 配置映射存在问题。有关更多信息,请参阅aws-authconfigmap中带路径的角色在其 ARN 中包含路径时不起作用

第 2 步:创建 Amazon EKS 计算环境

Amazon Batch 计算环境定义计算资源参数以满足您的批处理工作负载需求。在托管计算环境中,Amazon Batch 用以管理您的 Amazon EKS 集群中计算资源(Kubernetes 节点)的容量和实例类型。这是基于您在创建计算环境时定义的计算资源规范。您可以使用 EC2 按需型实例或 EC2 竞价型实例。

由于 AWSServiceRoleForBatch 服务相关角色可以访问您的 Amazon EKS 集群,您可以创建 Amazon Batch 资源。首先,创建一个指向 Amazon EKS 集群的计算环境。

$ cat <<EOF > ./batch-eks-compute-environment.json { "computeEnvironmentName": "My-Eks-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:<region>:123456789012:cluster/<cluster-name>", "kubernetesNamespace": "my-aws-batch-namespace" }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 128, "instanceTypes": [ "m5" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>" ], "securityGroupIds": [ "<eks-cluster-sg>" ], "instanceRole": "<eks-instance-profile>" } } EOF $ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json
注意
  • 不应指定 serviceRole 参数,然后将使用 Amazon Batch 服务相关角色。Amazon EKS 的 Amazon Batch 仅支持 Amazon Batch 服务相关角色。

  • EKS 计算环境仅支持 BEST_FIT_PROGRESSIVESPOT_CAPACITY_OPTIMIZEDSPOT_PRICE_CAPACITY_OPTIMIZED 分配策略。

    注意

    建议在大多数情况下使用 SPOT_PRICE_CAPACITY_OPTIMIZED 而不是 SPOT_CAPACITY_OPTIMIZEDn。

  • 有关 instanceRole,请参阅 Amazon EKS 用户指南中的创建 Amazon EKS 节点 IAM 角色启用 IAM 主体访问您的集群。如果您使用的是容器组(pod)联网,请参阅 Amazon EKS 用户指南中的为 Kubernetes 配置 Amazon VPC CNI 插件以使用服务账户的 IAM 角色

  • 获取 subnets 参数的工作子网的一种方法是使用 eksctl 创建 Amazon EKS 集群时创建的 Amazon EKS 托管节点组公共子网。否则,请使用具有支持拉取映像的网络路径的子网。

  • securityGroupIds 参数可以使用与 Amazon EKS 集群相同的安全组。此命令检索集群的安全组 ID。

    $ aws eks describe-cluster \ --name <cluster-name> \ --query cluster.resourcesVpcConfig.clusterSecurityGroupId
  • 对 EKS 计算环境的维护是一项共同责任。有关更多信息,请参阅Kubernetes节点的共同责任

重要

在继续操作之前,请务必确认计算环境是否正常。DescribeComputeEnvironments API 操作可以用来做到这一点。

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

确认 status 参数不是 INVALID。如果是,请查看 statusReason 参数查找原因。有关更多信息,请参阅故障排除 Amazon Batch

第 3 步:创建作业队列并连接计算环境

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

提交到这个新作业队列的作业在加入与您的计算环境关联的 Amazon EKS 集群的 Amazon Batch 托管节点上以容器组(pod)的形式运行。

$ cat <<EOF > ./batch-eks-job-queue.json { "jobQueueName": "My-Eks-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-CE1" } ] } EOF $ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步骤 4:创建作业定义

$ cat <<EOF > ./batch-eks-job-definition.json { "jobDefinitionName": "MyJobOnEks_Sleep", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "public.ecr.aws/amazonlinux/amazonlinux:2", "command": [ "sleep", "60" ], "resources": { "limits": { "cpu": "1", "memory": "1024Mi" } } } ], "metadata": { "labels": { "environment": "test" } } } } } EOF $ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json
注意

第 5 步:提交作业

$ aws batch submit-job --job-queue My-Eks-JQ1 \ --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1 $ aws batch describe-jobs --job <jobId-from-submit-response>
注意

(可选)提交带有优先级的作业

此作业会覆盖传递给容器的命令。

$ cat <<EOF > ./submit-job-override.json { "jobName": "EksWithOverrides", "jobQueue": "My-Eks-JQ1", "jobDefinition": "MyJobOnEks_Sleep", "eksPropertiesOverride": { "podProperties": { "containers": [ { "command": [ "/bin/sh" ], "args": [ "-c", "echo hello world" ] } ] } } } EOF $ aws batch submit-job --cli-input-json file://./submit-job-override.json
注意