View a markdown version of this page

开始使用 Amazon Batch 在亚马逊 EKS 上 - Amazon Batch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用 Amazon Batch 在亚马逊 EKS 上

Amazon Batch on Amazon EKS 是一项托管服务,用于将批量工作负载调度并扩展到现有的亚马逊 EKS 集群中。 Amazon Batch 不会代表您创建、管理或执行您的 Amazon EKS 集群的生命周期操作。 Amazon Batch 编排向上和向下扩展由管理的节点 Amazon Batch 并在这些节点上运行 pod。

注意

本教程使用 Amazon EKS 访问条目进行集群身份验证。访问条目是推荐的方法,对于符合以下条件的 Amazon EKS 集群来说是必需的 authenticationMode 是 API。它们也适用于亚马逊 EKS 集群 authenticationMode 是 API_AND_CONFIG_MAP。

如果你的集群是 authenticationMode 是 CONFIG_MAP,我们建议您将集群更新为 API_AND_CONFIG_MAP 这样你就可以学习本教程了。使用遗产 aws-auth ConfigMap 方法,参见 开始使用 Amazon Batch 在亚马逊 EKS 上使用 ConfigMap 身份验证。

有关身份验证方法的更多信息,请参阅亚马逊 EKS 访问入口身份验证。

Amazon Batch 不触及与之无关的节点、自动缩放节点组或 pod 生命周期 Amazon Batch 您的亚马逊 EKS 集群中的计算环境。对于 Amazon Batch 为了有效运作,它是 服务相关角色 需要访问您现有的亚马逊 EKS 集群。 Amazon Batch 为服务相关角色创建一个 Amazon EKS 访问条目,然后关联一个授予权限的访问策略 Amazon Batch 您的命名空间中的权限。

Amazon Batch 需要一个 Kubernetes 命名空间,它可以将 pod 范围定为 Amazon Batch 工作进入. 我们建议使用专用的命名空间来隔离 Amazon Batch 来自其他集群工作负载的 pod。

建立命名空间后,您可以将该 Amazon EKS 集群关联到 Amazon Batch 计算环境使用 CreateComputeEnvironment API 操作。任务队列可以与这个新的 Amazon EKS 计算环境相关联。 Amazon Batch 根据 Amazon EKS 任务定义,使用向任务队列提交任务 SubmitJob API 操作。 Amazon Batch 然后启动 Amazon Batch 托管节点,并将作业队列中的任务放置为 Kubernetes pod 进入与关联的 EKS 集群 Amazon Batch 计算环境。

以下各节介绍如何进行设置 Amazon Batch 在亚马逊 EKS 上。

概述

本教程演示如何设置 Amazon Batch 使用亚马逊 EKS 使用 Amazon CLI, kubectl 和 eksctl。

目标受众

本教程面向负责设置、测试和部署 Amazon Batch的系统管理员和开发人员而设计。

使用的功能

本教程向您展示如何使用 Amazon CLI,至:

  • 创建和配置 Amazon EKS 计算环境

  • 创建作业队列。

  • 创建任务定义

  • 创建并提交要运行的作业

  • 提交带覆盖的作业

所需时间

完成本教程大约需要 30—40 分钟。

区域限制

使用此解决方案没有任何国家/地区或区域限制。

资源使用成本

创建不收取任何费用 Amazon 账户。但是,通过实施此解决方案,您可能会产生下表中列出的部分或全部费用。

说明 费用(美元)
您需要按集群小时数付费 因实例而异,详情请参阅 Amazon EKS 定价

先决条件

在开始本教程之前,必须安装和配置创建和管理这两个工具和资源所需的以下工具和资源 Amazon Batch 和亚马逊 EKS 资源。

  • Amazon CLI – 与 Amazon 服务一起使用的命令行工具,包括 Amazon EKS。本指南要求您使用 2.37.7 或更高版本的 Amazon CLI 版本 2。早期版本不支持 accessEntry 参数。有关更多信息,请参阅《Amazon Command Line Interface 用户指南》中的安装、更新和卸载 Amazon CLI。安装后 Amazon CLI,我们建议您也对其进行配置。有关更多信息,请参阅《Amazon Command Line Interface 用户指南》中的使用 aws configure 进行快速配置。

  • kubectl – 用于与 Kubernetes 集群一起使用的命令行工具。使用 kubectl 版本与您的集群的版本相差不超过一个小版本差异 Kubernetes 版本。有关更多信息,请参阅《Amazon EKS 用户指南》中的安装或更新 kubectl。

  • eksctl – 用于处理 Amazon EKS 集群的命令行工具,该工具可自动执行许多单独任务。本指南要求您使用 0.167.0 版或更高版本。有关更多信息,请参阅《Amazon EKS 用户指南》中的安装或更新 eksctl。

  • 所需的 IAM 权限 — 您使用的 IAM 安全主体必须具有使用亚马逊 EKS IAM 角色和服务关联角色的权限, Amazon CloudFormation,以及 VPC 和相关资源。有关更多信息,请参阅《IAM 用户指南》中的用于 Amazon Elastic Kubernetes Service 的操作、资源和条件密钥和使用服务相关角色。您必须以同一用户身份完成本指南中的所有步骤。

  • 权限 — 用户致电 CreateComputeEnvironment 创建使用 Amazon EKS 资源的计算环境的 API 操作需要权限 eks:DescribeCluster API 操作。使用访问条目时, Amazon Batch 使用您的证书管理访问条目,因此您还需要权限来管理 Amazon EKS 访问条目: eks:DescribeAccessEntry, eks:CreateAccessEntry, eks:AssociateAccessPolicy,以及 eks:DeleteAccessEntry。有关更多信息,请参阅 所需的权限。

  • Amazon Web Services 账户 号码 — 你需要知道你的 Amazon Web Services 账户 ID。按照查看您的 Amazon Web Services 账户 ID 中的说明进行操作。

  • (可选) CloudWatch — 检查细节 (可选)提交具有替代权限的作业,必须配置日志记录。有关更多信息,请参阅 使用 CloudWatch 日志监控 Amaz Amazon Batch on EKS 作业。

第 1 步:为创建您的 Amazon EKS 集群 Amazon Batch

重要

本教程包含的步骤均使用默认设置,以助您尽可能简单快速地入门。在出于生产用途而开始创建之前,我们建议您熟悉所有设置,并使用符合您要求的设置进行部署。

完成前提条件安装后,您需要使用 eksctl 创建集群。集群创建可能需要 10–15 分钟时间。

$ eksctl create cluster --name my-cluster-name --region region-code

请在上述命令中执行以下替换:

  • 替换 my-cluster-name 使用您要用于集群的名称。

  • 替换 region-code 和 Amazon Web Services 区域 例如,在中创建集群 us-west-2。

本教程的后面部分将需要该集群名称和区域。

第 2 步:为 Amazon EKS 集群做好准备 Amazon Batch

此方法使用 Amazon EKS 访问条目来授予 Amazon Batch 集群访问。它消除了手动配置 RBAC 的需要, aws-auth ConfigMap 编辑。

  1. 为创建专用的命名空间 Amazon Batch 作业

    用 kubectl 以创建新的命名空间。

    $ namespace=my-aws-batch-namespace
    $ cat - <<EOF | kubectl create -f - { "apiVersion": "v1", "kind": "Namespace", "metadata": { "name": "${namespace}", "labels": { "name": "${namespace}" } } } EOF

    输出:

    namespace/my-aws-batch-namespace created
  2. 为节点实例角色配置集群访问权限

    启动的实例 Amazon Batch 使用您在中指定的实例配置文件加入集群 computeResources.instanceRole 当您在下一步中创建计算环境时。该角色需要自己的集群访问权限,这与 Amazon Batch-管理访问入口。

    节点实例角色是在您创建集群时创建的。要查找节点实例角色,请列出所有使用 AmazonEKSWorkerNodePolicy 政策:

    $ aws iam list-entities-for-policy --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy

    该命令列出了使用此策略的所有角色。选择名称包含您的集群名称的角色,例如 eksctl-my-cluster-name-nodegroup-example。

    仅当节点实例角色在集群上还没有访问条目时,才需要执行此步骤。例如,Amazon EKS 通常会为托管节点组的节点角色创建访问条目,例如 eksctl 在步骤 1 中创建。要检查该角色是否已经有访问条目,请运行以下命令:

    $ aws eks describe-access-entry \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example

    替换 eksctl-my-cluster-name-nodegroup-example 使用前面命令返回的节点实例角色的名称。

    如果该命令返回访问条目,请跳过此步骤的其余部分。如果它返回 ResourceNotFoundException 错误,为节点实例角色创建访问条目:

    $ aws eks create-access-entry \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example \ --type EC2_LINUX
    注意

    在集群上 authenticationMode 是 API_AND_CONFIG_MAP,如果节点实例角色已经映射到 aws-auth ConfigMap,您也可以跳过此步骤。使用成功加入节点 ConfigMap 条目。在集群上 authenticationMode 是 API, ConfigMap 未使用,因此节点实例角色必须具有访问条目。

    重要

    如果节点实例角色没有适当的集群访问权限,EC2 实例将无法加入集群。就业机会将留在 RUNNABLE 状态,因为没有容量注册到集群。

第 3 步:创建 Amazon EKS 计算环境

Amazon Batch 计算环境定义计算资源参数以满足您的批量工作负载需求。在托管计算环境中, Amazon Batch 帮助您管理计算资源的容量和实例类型(Kubernetes 节点)在您的亚马逊 EKS 集群中。这是基于您在创建计算环境时定义的计算资源规范。你可以使用 EC2 On-Demand 实例或 EC2 竞价型实例。

创建以您的 Amazon EKS 集群为目标的计算环境。因为计算环境设置 accessEntry.desiredState 到 ENABLED, Amazon Batch 为创建访问条目 AWSServiceRoleForBatch 集群上的服务相关角色。在下一步中,您将在您的命名空间中授予该访问入口权限。

  • 对于 subnets,请运行 eksctl get cluster my-cluster-name 来获取集群使用的子网。

  • 对于 securityGroupIds 参数,您可以使用与 Amazon EKS 集群相同的安全组。此命令检索集群的安全组 ID。

    $ aws eks describe-cluster \ --name my-cluster-name \ --query cluster.resourcesVpcConfig.clusterSecurityGroupId
  • 这个 instanceRole 是您在步骤 2 中找到的节点实例角色的实例配置文件。要查找 instanceRole ARN,请运行以下命令:

    $ aws iam list-instance-profiles-for-role --role-name eksctl-my-cluster-name-nodegroup-example

    输出:

    INSTANCEPROFILES arn:aws:iam::<your-account-number>:instance-profile/eks-04cb2200-94b9-c297-8dbe-87f12example

    欲了解更多信息,请参阅 创建亚马逊 EKS 节点 IAM 角色 和 授予 IAM 用户访问权限 Kubernetes 使用亚马逊 EKS 访问条目 在 亚马逊 EKS 用户指南。如果您使用的是容器组(pod)联网,请参阅《Amazon EKS 用户指南》中的创建适用于 Kubernetes 的 Amazon VPC CNI 插件以使用服务账户的 IAM 角色。

$ cat <<EOF > ./batch-eks-compute-environment.json { "computeEnvironmentName": "My-Eks-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name", "kubernetesNamespace": "my-aws-batch-namespace", "accessEntry": { "desiredState": "ENABLED" } }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 128, "instanceTypes": [ "m5" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>" ], "securityGroupIds": [ "<eks-cluster-sg>" ], "instanceRole": "<eks-instance-profile>" } } EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json
注意

步骤 3a:关联命名空间策略

使用创建计算环境后 accessEntry.desiredState=ENABLED, Amazon Batch 创建集群级访问条目。然后,你必须关联命名空间作用域 AWSBatchNamespacePolicy 授予 Amazon Batch 在你的命名空间中创建和管理 pod 的权限。

重要

如果没有命名空间范围的策略关联,工作将继续停滞不前 RUNNABLE 状态。单独的集群级策略并不能授予 Pod 管理权限。

  1. 等待访问条目变为活动状态

    检查访问条目状态:

    $ aws batch describe-compute-environments \ --compute-environments My-Eks-CE1 \ --query 'computeEnvironments[0].eksConfiguration.accessEntry.status' \ --output text

    准备就绪时的输出:

    ACTIVE

    一个 ACTIVE 状态意味着 Amazon Batch 在您的集群上创建了访问条目,您可以将命名空间策略与其关联。如果状态是 INACTIVE,稍等片刻再试一次。在状态变为之前不要继续 ACTIVE。

  2. 关联命名空间策略

    一旦访问入口是 ACTIVE,关联命名空间范围的策略:

    $ aws eks associate-access-policy \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch \ --policy-arn arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy \ --access-scope type=namespace,namespaces=my-aws-batch-namespace

    输出:

    { "clusterName": "my-cluster-name", "principalArn": "arn:aws:iam::123456789012:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch", "associatedAccessPolicy": { "policyArn": "arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy", "accessScope": { "type": "namespace", "namespaces": [ "my-aws-batch-namespace" ] }, "associatedAt": "2024-01-15T10:30:00.000000-08:00", "modifiedAt": "2024-01-15T10:30:00.000000-08:00" } }

第 4 步:创建任务队列并连接计算环境

重要

在继续操作之前,请务必确认计算环境是否正常。这个 DescribeComputeEnvironments 可以使用 API 操作来执行此操作。

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

确认 status 参数不是 INVALID。如果是,请查看 statusReason 参数查找原因。有关更多信息,请参阅 问题排查 Amazon Batch。

提交到这个新任务队列的任务以 pod 的形式运行 Amazon Batch 加入与您的计算环境关联的 Amazon EKS 集群的托管节点。

$ cat <<EOF > ./batch-eks-job-queue.json { "jobQueueName": "My-Eks-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-CE1" } ] } EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

步骤 5:创建任务定义

以下作业定义会指示该容器组睡眠 60 秒。

$ cat <<EOF > ./batch-eks-job-definition.json { "jobDefinitionName": "MyJobOnEks_Sleep", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "public.ecr.aws/amazonlinux/amazonlinux:2", "command": [ "sleep", "60" ], "resources": { "limits": { "cpu": "1", "memory": "1024Mi" } } } ], "metadata": { "labels": { "environment": "test" } } } } } EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json
注意

第 6 步:提交作业

运行以下命令 Amazon CLI 命令提交新作业。

$ aws batch submit-job --job-queue My-Eks-JQ1 \ --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

检查作业状态:

$ aws batch describe-jobs --job <jobId-from-submit-response>
注意
  • 有关在 Amazon EKS 资源上运行作业的更多信息,请参阅 Amazon EKS 作业。

第 7 步:查看作业输出

要查看作业输出,请执行以下操作:

  1. 打开 Amazon Batch 控制台在 https://console.aws.amazon.com/batch/。

  2. 在导航窗格中,选择作业。

  3. 在作业队列下拉列表中,选择您为本教程创建的作业队列。

  4. 作业表会列出您的所有作业及其当前状态。工作结束后 状态 是 成功了 选择 姓名 关于这份工作, My-Eks-Job1,查看任务的详细信息。

  5. 在详细信息窗格中,启动时间和停止时间应间隔一分钟。

第 8 步:(可选)提交带覆盖的作业

此任务会覆盖传递给容器的命令。 Amazon Batch 任务完成后积极清理豆荚,将负载减少到 Kubernetes。要检查作业的详细信息,必须配置日志记录。有关更多信息,请参阅 使用 CloudWatch 日志监控 Amaz Amazon Batch on EKS 作业。

$ cat <<EOF > ./submit-job-override.json { "jobName": "EksWithOverrides", "jobQueue": "My-Eks-JQ1", "jobDefinition": "MyJobOnEks_Sleep", "eksPropertiesOverride": { "podProperties": { "containers": [ { "command": [ "/bin/sh" ], "args": [ "-c", "echo hello world" ] } ] } } } EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json
注意

要查看作业输出,请执行以下操作:

  1. 打开 Amazon Batch 控制台在 https://console.aws.amazon.com/batch/。

  2. 在导航窗格中,选择作业。

  3. 在作业队列下拉列表中,选择您为本教程创建的作业队列。

  4. 作业表会列出您的所有作业及其当前状态。作业的状态变为成功后,选择该作业的名称以查看该作业的详细信息。

  5. 在详细信息窗格中,选择日志流名称。这个 CloudWatch 任务控制台将打开,并且应该有一个事件 消息 的 hello world 或者您的自定义消息。

第 9 步:清理教程资源

启用 Amazon EC2 实例后,您需要为该实例付费。您可以删除实例以停止产生费用。

要删除您创建的资源,请执行以下操作:

  1. 打开 Amazon Batch 控制台在 https://console.aws.amazon.com/batch/。

  2. 在导航窗格中,选择作业队列。

  3. 在作业队列表中,选择您为本教程创建的作业队列。

  4. 选择禁用。当作业队列的状态变为“已禁用”后,您可以选择删除。

  5. 删除任务队列后,设置 accessEntry.desiredState 到 DISABLED 在计算环境上,这样 Amazon Batch 删除它在您的集群上创建的访问条目:

    $ aws batch update-compute-environment \ --compute-environment My-Eks-CE1 \ --eks-configuration 'accessEntry={desiredState=DISABLED}'
    重要

    你必须设置 desiredState 到 DISABLED 在删除计算环境之前。删除计算环境不会删除访问条目,即使它是最后一个 Amazon Batch 集群上的计算环境。如果是其他 Amazon Batch 计算环境以同一个集群为目标, Amazon Batch 只有在每个访问条目都具有访问权限后才会删除访问条目 desiredState 设置为 DISABLED。有关更多信息,请参阅 内容 Amazon Batch 在您的集群上创建。

    禁用访问条目后的预期状态

    之后 Amazon Batch 移除访问入口,计算环境的 状态 更改为 INVALID 状态原因为 Unable to validate Kubernetes Namespace。这是意料之中的,因为 Amazon Batch 不再有权访问您的集群。您仍然可以禁用和删除计算环境。

  6. 在导航窗格中选择 计算环境。

  7. 选择您为本教程创建的计算环境,然后选择禁用。计算环境可能需要 1—2 分钟才能完全禁用。

  8. 计算环境的状态变为“已禁用”后,选择删除。删除计算环境可能需要 1—2 分钟。

其他资源

完成本教程后,您可以探索以下主题: