本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
开始使用 Amazon Batch 在亚马逊 EKS 上
Amazon Batch on Amazon EKS 是一项托管服务,用于将批量工作负载调度并扩展到现有的亚马逊 EKS 集群中。 Amazon Batch 不会代表您创建、管理或执行您的 Amazon EKS 集群的生命周期操作。 Amazon Batch 编排向上和向下扩展由管理的节点 Amazon Batch 并在这些节点上运行 pod。
本教程使用 Amazon EKS 访问条目进行集群身份验证。访问条目是推荐的方法,对于符合以下条件的 Amazon EKS 集群来说是必需的 authenticationMode 是 API。它们也适用于亚马逊 EKS 集群 authenticationMode 是 API_AND_CONFIG_MAP。
如果你的集群是 authenticationMode 是 CONFIG_MAP,我们建议您将集群更新为 API_AND_CONFIG_MAP 这样你就可以学习本教程了。使用遗产 aws-auth ConfigMap 方法,参见 开始使用 Amazon Batch 在亚马逊 EKS 上使用 ConfigMap 身份验证。
有关身份验证方法的更多信息,请参阅亚马逊 EKS 访问入口身份验证。
Amazon Batch 不触及与之无关的节点、自动缩放节点组或 pod 生命周期 Amazon Batch 您的亚马逊 EKS 集群中的计算环境。对于 Amazon Batch 为了有效运作,它是 服务相关角色 需要访问您现有的亚马逊 EKS 集群。 Amazon Batch 为服务相关角色创建一个 Amazon EKS 访问条目,然后关联一个授予权限的访问策略 Amazon Batch 您的命名空间中的权限。
Amazon Batch 需要一个 Kubernetes 命名空间,它可以将 pod 范围定为 Amazon Batch 工作进入. 我们建议使用专用的命名空间来隔离 Amazon Batch 来自其他集群工作负载的 pod。
建立命名空间后,您可以将该 Amazon EKS 集群关联到 Amazon Batch 计算环境使用 CreateComputeEnvironment API 操作。任务队列可以与这个新的 Amazon EKS 计算环境相关联。 Amazon Batch 根据 Amazon EKS 任务定义,使用向任务队列提交任务 SubmitJob API 操作。 Amazon Batch 然后启动 Amazon Batch 托管节点,并将作业队列中的任务放置为 Kubernetes pod 进入与关联的 EKS 集群 Amazon Batch 计算环境。
以下各节介绍如何进行设置 Amazon Batch 在亚马逊 EKS 上。
目录
概述
本教程演示如何设置 Amazon Batch 使用亚马逊 EKS 使用 Amazon CLI, kubectl 和 eksctl。
- 目标受众
-
本教程面向负责设置、测试和部署 Amazon Batch的系统管理员和开发人员而设计。
- 使用的功能
-
本教程向您展示如何使用 Amazon CLI,至:
-
创建和配置 Amazon EKS 计算环境
-
创建作业队列。
-
创建任务定义
-
创建并提交要运行的作业
-
提交带覆盖的作业
-
- 所需时间
-
完成本教程大约需要 30—40 分钟。
- 区域限制
-
使用此解决方案没有任何国家/地区或区域限制。
- 资源使用成本
-
创建不收取任何费用 Amazon 账户。但是,通过实施此解决方案,您可能会产生下表中列出的部分或全部费用。
说明 费用(美元) 您需要按集群小时数付费 因实例而异,详情请参阅 Amazon EKS 定价
先决条件
在开始本教程之前,必须安装和配置创建和管理这两个工具和资源所需的以下工具和资源 Amazon Batch 和亚马逊 EKS 资源。
-
Amazon CLI – 与 Amazon 服务一起使用的命令行工具,包括 Amazon EKS。本指南要求您使用 2.37.7 或更高版本的 Amazon CLI 版本 2。早期版本不支持
accessEntry参数。有关更多信息,请参阅《Amazon Command Line Interface 用户指南》中的安装、更新和卸载 Amazon CLI。安装后 Amazon CLI,我们建议您也对其进行配置。有关更多信息,请参阅《Amazon Command Line Interface 用户指南》中的使用aws configure进行快速配置。 -
kubectl– 用于与 Kubernetes 集群一起使用的命令行工具。使用kubectl版本与您的集群的版本相差不超过一个小版本差异 Kubernetes 版本。有关更多信息,请参阅《Amazon EKS 用户指南》中的安装或更新kubectl。 -
– 用于处理 Amazon EKS 集群的命令行工具,该工具可自动执行许多单独任务。本指南要求您使用eksctl0.167.0版或更高版本。有关更多信息,请参阅《Amazon EKS 用户指南》中的安装或更新。eksctl -
所需的 IAM 权限 — 您使用的 IAM 安全主体必须具有使用亚马逊 EKS IAM 角色和服务关联角色的权限, Amazon CloudFormation,以及 VPC 和相关资源。有关更多信息,请参阅《IAM 用户指南》中的用于 Amazon Elastic Kubernetes Service 的操作、资源和条件密钥和使用服务相关角色。您必须以同一用户身份完成本指南中的所有步骤。
-
权限 — 用户致电 CreateComputeEnvironment 创建使用 Amazon EKS 资源的计算环境的 API 操作需要权限
eks:DescribeClusterAPI 操作。使用访问条目时, Amazon Batch 使用您的证书管理访问条目,因此您还需要权限来管理 Amazon EKS 访问条目:eks:DescribeAccessEntry,eks:CreateAccessEntry,eks:AssociateAccessPolicy,以及eks:DeleteAccessEntry。有关更多信息,请参阅 所需的权限。 -
Amazon Web Services 账户 号码 — 你需要知道你的 Amazon Web Services 账户 ID。按照查看您的 Amazon Web Services 账户 ID 中的说明进行操作。
(可选) CloudWatch — 检查细节 (可选)提交具有替代权限的作业,必须配置日志记录。有关更多信息,请参阅 使用 CloudWatch 日志监控 Amaz Amazon Batch on EKS 作业。
第 1 步:为创建您的 Amazon EKS 集群 Amazon Batch
本教程包含的步骤均使用默认设置,以助您尽可能简单快速地入门。在出于生产用途而开始创建之前,我们建议您熟悉所有设置,并使用符合您要求的设置进行部署。
完成前提条件安装后,您需要使用 eksctl 创建集群。集群创建可能需要 10–15 分钟时间。
$eksctl create cluster --namemy-cluster-name--regionregion-code
请在上述命令中执行以下替换:
-
替换
my-cluster-name使用您要用于集群的名称。 -
替换
region-code和 Amazon Web Services 区域 例如,在中创建集群us-west-2。
本教程的后面部分将需要该集群名称和区域。
第 2 步:为 Amazon EKS 集群做好准备 Amazon Batch
此方法使用 Amazon EKS 访问条目来授予 Amazon Batch 集群访问。它消除了手动配置 RBAC 的需要, aws-auth ConfigMap 编辑。
-
为创建专用的命名空间 Amazon Batch 作业
用
kubectl以创建新的命名空间。$namespace=my-aws-batch-namespace$cat - <<EOF | kubectl create -f - { "apiVersion": "v1", "kind": "Namespace", "metadata": { "name": "${namespace}", "labels": { "name": "${namespace}" } } } EOF输出:
namespace/my-aws-batch-namespace created -
为节点实例角色配置集群访问权限
启动的实例 Amazon Batch 使用您在中指定的实例配置文件加入集群
computeResources.instanceRole当您在下一步中创建计算环境时。该角色需要自己的集群访问权限,这与 Amazon Batch-管理访问入口。节点实例角色是在您创建集群时创建的。要查找节点实例角色,请列出所有使用
AmazonEKSWorkerNodePolicy政策:$aws iam list-entities-for-policy --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy该命令列出了使用此策略的所有角色。选择名称包含您的集群名称的角色,例如
eksctl-。my-cluster-name-nodegroup-example仅当节点实例角色在集群上还没有访问条目时,才需要执行此步骤。例如,Amazon EKS 通常会为托管节点组的节点角色创建访问条目,例如
eksctl在步骤 1 中创建。要检查该角色是否已经有访问条目,请运行以下命令:$aws eks describe-access-entry \ --cluster-namemy-cluster-name\ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example替换
eksctl-my-cluster-name-nodegroup-example使用前面命令返回的节点实例角色的名称。如果该命令返回访问条目,请跳过此步骤的其余部分。如果它返回
ResourceNotFoundException错误,为节点实例角色创建访问条目:$aws eks create-access-entry \ --cluster-namemy-cluster-name\ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example\ --type EC2_LINUX注意在集群上
authenticationMode是API_AND_CONFIG_MAP,如果节点实例角色已经映射到aws-authConfigMap,您也可以跳过此步骤。使用成功加入节点 ConfigMap 条目。在集群上authenticationMode是API, ConfigMap 未使用,因此节点实例角色必须具有访问条目。重要如果节点实例角色没有适当的集群访问权限,EC2 实例将无法加入集群。就业机会将留在
RUNNABLE状态,因为没有容量注册到集群。
第 3 步:创建 Amazon EKS 计算环境
Amazon Batch 计算环境定义计算资源参数以满足您的批量工作负载需求。在托管计算环境中, Amazon Batch 帮助您管理计算资源的容量和实例类型(Kubernetes 节点)在您的亚马逊 EKS 集群中。这是基于您在创建计算环境时定义的计算资源规范。你可以使用 EC2 On-Demand 实例或 EC2 竞价型实例。
创建以您的 Amazon EKS 集群为目标的计算环境。因为计算环境设置 accessEntry.desiredState 到 ENABLED, Amazon Batch
为创建访问条目 AWSServiceRoleForBatch 集群上的服务相关角色。在下一步中,您将在您的命名空间中授予该访问入口权限。
-
对于
subnets,请运行eksctl get cluster来获取集群使用的子网。my-cluster-name -
对于
securityGroupIds参数,您可以使用与 Amazon EKS 集群相同的安全组。此命令检索集群的安全组 ID。$aws eks describe-cluster \ --namemy-cluster-name\ --query cluster.resourcesVpcConfig.clusterSecurityGroupId -
这个
instanceRole是您在步骤 2 中找到的节点实例角色的实例配置文件。要查找instanceRoleARN,请运行以下命令:$aws iam list-instance-profiles-for-role --role-name eksctl-my-cluster-name-nodegroup-example输出:
INSTANCEPROFILES arn:aws:iam::<your-account-number>:instance-profile/eks-04cb2200-94b9-c297-8dbe-87f12example欲了解更多信息,请参阅 创建亚马逊 EKS 节点 IAM 角色 和 授予 IAM 用户访问权限 Kubernetes 使用亚马逊 EKS 访问条目 在 亚马逊 EKS 用户指南。如果您使用的是容器组(pod)联网,请参阅《Amazon EKS 用户指南》中的创建适用于 Kubernetes 的 Amazon VPC CNI 插件以使用服务账户的 IAM 角色。
$cat <<EOF > ./batch-eks-compute-environment.json { "computeEnvironmentName": "My-Eks-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name", "kubernetesNamespace": "my-aws-batch-namespace", "accessEntry": { "desiredState": "ENABLED" } }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 128, "instanceTypes": [ "m5" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>" ], "securityGroupIds": [ "<eks-cluster-sg>" ], "instanceRole": "<eks-instance-profile>" } } EOF
$aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json
注意
-
对 Amazon EKS 计算环境的维护是一项共同责任。有关更多信息,请参阅 的共同责任 Kubernetes 节点。
步骤 3a:关联命名空间策略
使用创建计算环境后 accessEntry.desiredState=ENABLED, Amazon Batch 创建集群级访问条目。然后,你必须关联命名空间作用域 AWSBatchNamespacePolicy 授予 Amazon Batch 在你的命名空间中创建和管理 pod 的权限。
如果没有命名空间范围的策略关联,工作将继续停滞不前 RUNNABLE 状态。单独的集群级策略并不能授予 Pod 管理权限。
-
等待访问条目变为活动状态
检查访问条目状态:
$aws batch describe-compute-environments \ --compute-environmentsMy-Eks-CE1\ --query 'computeEnvironments[0].eksConfiguration.accessEntry.status' \ --output text准备就绪时的输出:
ACTIVE一个
ACTIVE状态意味着 Amazon Batch 在您的集群上创建了访问条目,您可以将命名空间策略与其关联。如果状态是INACTIVE,稍等片刻再试一次。在状态变为之前不要继续ACTIVE。 -
关联命名空间策略
一旦访问入口是
ACTIVE,关联命名空间范围的策略:$aws eks associate-access-policy \ --cluster-namemy-cluster-name\ --principal-arn arn:aws:iam::your-account-number:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch \ --policy-arn arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy \ --access-scope type=namespace,namespaces=my-aws-batch-namespace输出:
{ "clusterName": "my-cluster-name", "principalArn": "arn:aws:iam::123456789012:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch", "associatedAccessPolicy": { "policyArn": "arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy", "accessScope": { "type": "namespace", "namespaces": [ "my-aws-batch-namespace" ] }, "associatedAt": "2024-01-15T10:30:00.000000-08:00", "modifiedAt": "2024-01-15T10:30:00.000000-08:00" } }
第 4 步:创建任务队列并连接计算环境
在继续操作之前,请务必确认计算环境是否正常。这个 DescribeComputeEnvironments 可以使用 API 操作来执行此操作。
$aws batch describe-compute-environments --compute-environmentsMy-Eks-CE1
确认 status 参数不是 INVALID。如果是,请查看 statusReason 参数查找原因。有关更多信息,请参阅 问题排查 Amazon Batch。
提交到这个新任务队列的任务以 pod 的形式运行 Amazon Batch 加入与您的计算环境关联的 Amazon EKS 集群的托管节点。
$cat <<EOF > ./batch-eks-job-queue.json { "jobQueueName": "My-Eks-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-CE1" } ] } EOF
$aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json
步骤 5:创建任务定义
以下作业定义会指示该容器组睡眠 60 秒。
$cat <<EOF > ./batch-eks-job-definition.json { "jobDefinitionName": "MyJobOnEks_Sleep", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "public.ecr.aws/amazonlinux/amazonlinux:2", "command": [ "sleep", "60" ], "resources": { "limits": { "cpu": "1", "memory": "1024Mi" } } } ], "metadata": { "labels": { "environment": "test" } } } } } EOF
$aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json
注意
-
cpu和memory参数有一些注意事项。有关更多信息,请参阅 的内存和 vCPU 注意事项 Amazon Batch 在亚马逊 EKS 上。
第 6 步:提交作业
运行以下命令 Amazon CLI 命令提交新作业。
$aws batch submit-job --job-queueMy-Eks-JQ1\ --job-definitionMyJobOnEks_Sleep--job-nameMy-Eks-Job1
检查作业状态:
$aws batch describe-jobs --job<jobId-from-submit-response>
注意
-
有关在 Amazon EKS 资源上运行作业的更多信息,请参阅 Amazon EKS 作业。
第 7 步:查看作业输出
要查看作业输出,请执行以下操作:
-
打开 Amazon Batch 控制台在 https://console.aws.amazon.com/batch/
。 -
在导航窗格中,选择作业。
-
在作业队列下拉列表中,选择您为本教程创建的作业队列。
-
作业表会列出您的所有作业及其当前状态。工作结束后 状态 是 成功了 选择 姓名 关于这份工作,
My-Eks-Job1,查看任务的详细信息。 -
在详细信息窗格中,启动时间和停止时间应间隔一分钟。
第 8 步:(可选)提交带覆盖的作业
此任务会覆盖传递给容器的命令。 Amazon Batch 任务完成后积极清理豆荚,将负载减少到 Kubernetes。要检查作业的详细信息,必须配置日志记录。有关更多信息,请参阅 使用 CloudWatch 日志监控 Amaz Amazon Batch on EKS 作业。
$cat <<EOF > ./submit-job-override.json { "jobName": "EksWithOverrides", "jobQueue": "My-Eks-JQ1", "jobDefinition": "MyJobOnEks_Sleep", "eksPropertiesOverride": { "podProperties": { "containers": [ { "command": [ "/bin/sh" ], "args": [ "-c", "echo hello world" ] } ] } } } EOF
$aws batch submit-job --cli-input-json file://./submit-job-override.json
注意
-
要提高对操作细节的可见性,请启用 Amazon EKS 控制面板日志记录。有关更多信息,请参阅《Amazon EKS 用户指南》中的 Amazon EKS 控制面板日志。
-
Daemonsets 和 kubelets 开销会影响可用的 vCPU 和内存资源,特别是扩展和作业布局。有关更多信息,请参阅 的内存和 vCPU 注意事项 Amazon Batch 在亚马逊 EKS 上。
要查看作业输出,请执行以下操作:
-
打开 Amazon Batch 控制台在 https://console.aws.amazon.com/batch/
。 -
在导航窗格中,选择作业。
-
在作业队列下拉列表中,选择您为本教程创建的作业队列。
-
作业表会列出您的所有作业及其当前状态。作业的状态变为成功后,选择该作业的名称以查看该作业的详细信息。
-
在详细信息窗格中,选择日志流名称。这个 CloudWatch 任务控制台将打开,并且应该有一个事件 消息 的
hello world或者您的自定义消息。
第 9 步:清理教程资源
启用 Amazon EC2 实例后,您需要为该实例付费。您可以删除实例以停止产生费用。
要删除您创建的资源,请执行以下操作:
-
打开 Amazon Batch 控制台在 https://console.aws.amazon.com/batch/
。 -
在导航窗格中,选择作业队列。
-
在作业队列表中,选择您为本教程创建的作业队列。
-
选择禁用。当作业队列的状态变为“已禁用”后,您可以选择删除。
-
删除任务队列后,设置
accessEntry.desiredState到DISABLED在计算环境上,这样 Amazon Batch 删除它在您的集群上创建的访问条目:$aws batch update-compute-environment \ --compute-environmentMy-Eks-CE1\ --eks-configuration 'accessEntry={desiredState=DISABLED}'重要你必须设置
desiredState到DISABLED在删除计算环境之前。删除计算环境不会删除访问条目,即使它是最后一个 Amazon Batch 集群上的计算环境。如果是其他 Amazon Batch 计算环境以同一个集群为目标, Amazon Batch 只有在每个访问条目都具有访问权限后才会删除访问条目desiredState设置为DISABLED。有关更多信息,请参阅 内容 Amazon Batch 在您的集群上创建。禁用访问条目后的预期状态之后 Amazon Batch 移除访问入口,计算环境的 状态 更改为
INVALID状态原因为Unable to validate Kubernetes Namespace。这是意料之中的,因为 Amazon Batch 不再有权访问您的集群。您仍然可以禁用和删除计算环境。 -
在导航窗格中选择 计算环境。
-
选择您为本教程创建的计算环境,然后选择禁用。计算环境可能需要 1—2 分钟才能完全禁用。
-
计算环境的状态变为“已禁用”后,选择删除。删除计算环境可能需要 1—2 分钟。
其他资源
完成本教程后,您可以探索以下主题: