在 Amazon EKS 私有集群上使用 Amazon Batch 的入门

打开 Amazon CloudShell 控制台并将区域设置为 us-east-1。在本教程的其余部分中，请确保您使用的是 us-east-1。

使用示例 eksctl 配置文件，在 us-east-1 区域中创建一个私有 EKS 集群。将该 yaml 文件保存到您的 Amazon CloudShell 环境中并将其命名为 clusterConfig.yaml。您可以将 my-test-cluster 更改为要使用的集群名称。

kind: ClusterConfig 
apiVersion: eksctl.io/v1alpha5
metadata:
    name: my-test-cluster 
    region: us-east-1
availabilityZones: 
    - us-east-1a 
    - us-east-1b 
    - us-east-1c
managedNodeGroups:
    - name: ng-1
      privateNetworking: true 
privateCluster: 
    enabled: true 
    skipEndpointCreation: false

使用以下命令创建资源：eksctl create cluster -f clusterConfig.yaml。集群创建可能需要 10–15 分钟时间。

集群创建完成后，您必须将您的 Amazon CloudShell IP 地址添加到允许列表中。要查找您的 Amazon CloudShell IP 地址，请运行以下命令：

curl http://checkip.amazonaws.com

获得公有 IP 地址后，您必须创建一条允许列表规则：

aws eks update-cluster-config \
  --name my-test-cluster \
  --region us-east-1 \
  --resources-vpc-config endpointPublicAccess=true,endpointPrivateAccess=true,publicAccessCidrs=["<Public IP>/32"]

然后将更新应用到该 kubectl 配置文件：

aws eks update-kubeconfig --name my-test-cluster --region us-east-1

要测试您是否有权访问节点，请运行以下命令：

kubectl get nodes

命令的输出为：

NAME                              STATUS   ROLES    AGE     VERSION
ip-192-168-107-235.ec2.internal   Ready    none     1h   v1.32.3-eks-473151a
ip-192-168-165-40.ec2.internal    Ready    none     1h   v1.32.3-eks-473151a
ip-192-168-98-54.ec2.internal     Ready    none     1h   v1.32.1-eks-5d632ec

为 Amazon Batch 作业创建专用的命名空间

用 kubectl 以创建新的命名空间。

$ namespace=my-aws-batch-namespace

$ cat - <<EOF | kubectl create -f -
{
  "apiVersion": "v1",
  "kind": "Namespace",
  "metadata": {
    "name": "${namespace}",
    "labels": {
      "name": "${namespace}"
    }
  }
}
EOF

输出：

namespace/my-aws-batch-namespace created

通过基于角色的访问控制（RBAC）启用访问权限

用 kubectl 为集群创建 Kubernetes 角色以允许 Amazon Batch 监视节点和容器组（pod），并用于绑定该角色。您必须为每个 Amazon EKS 集群执行一次此操作。

$ cat - <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: aws-batch-cluster-role
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list"]
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["apps"]
    resources: ["daemonsets", "deployments", "statefulsets", "replicasets"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["clusterroles", "clusterrolebindings"]
    verbs: ["get", "list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: aws-batch-cluster-role-binding
subjects:
- kind: User
  name: aws-batch
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: aws-batch-cluster-role
  apiGroup: rbac.authorization.k8s.io
EOF

输出：

clusterrole.rbac.authorization.k8s.io/aws-batch-cluster-role created
clusterrolebinding.rbac.authorization.k8s.io/aws-batch-cluster-role-binding created

为 Amazon Batch 创建名称空间范围的 Kubernetes 角色，用于管理和绑定生命周期容器组（pod）。必须为每个唯一的命名空间执行一次此操作。

$ namespace=my-aws-batch-namespace

$ cat - <<EOF | kubectl apply -f - --namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: aws-batch-compute-environment-role
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create", "get", "list", "watch", "delete", "patch"]
  - apiGroups: [""]
    resources: ["serviceaccounts"]
    verbs: ["get", "list"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: aws-batch-compute-environment-role-binding
  namespace: ${namespace}
subjects:
- kind: User
  name: aws-batch
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: aws-batch-compute-environment-role
  apiGroup: rbac.authorization.k8s.io
EOF

输出：

role.rbac.authorization.k8s.io/aws-batch-compute-environment-role created
rolebinding.rbac.authorization.k8s.io/aws-batch-compute-environment-role-binding created

更新 Kubernetes aws-auth 配置映射以将前面的 RBAC 权限映射到 Amazon Batch 服务相关角色。

$ eksctl create iamidentitymapping \
    --cluster my-test-cluster \
    --arn "arn:aws:iam::<your-account-ID>:role/AWSServiceRoleForBatch" \
    --username aws-batch

输出：

2022-10-25 20:19:57 [ℹ]  adding identity "arn:aws:iam::<your-account-ID>:role/AWSServiceRoleForBatch" to auth ConfigMap

以下命令会创建缓存提取规则。您可以使用其他前缀来替换 tutorial-prefix。

aws ecr create-pull-through-cache-rule \
    --ecr-repository-prefix "my-prefix" \
    --upstream-registry-url "public.ecr.aws" \
    --region us-east-1

完成公有 ECR 的身份验证。

aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin <your-account-ID>.dkr.ecr.us-east-1.amazonaws.com

现在就可以提取映像。

docker pull <your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2

您可以通过运行以下命令验证存储库和映像：

aws ecr describe-repositories

aws ecr describe-images --repository-name my-prefix/amazonlinux/amazonlinux

用于提取容器的映像字符串格式如下：

<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2

打开Amazon Batch控制台，地址：https://console.aws.amazon.com/batch/。

在导航窗格中，选择作业队列。

在作业队列表中，选择您为本教程创建的作业队列。

对于操作，请选择禁用。当作业队列的状态变为“已禁用”后，您可以选择删除。

删除该作业队列后，在导航窗格中选择计算环境。

选择您为本教程创建的计算环境，然后在操作中选择禁用。计算环境的禁用可能需要 1-2 分钟才能完成。

计算环境的状态变为“已禁用”后，选择删除。计算环境的删除可能需要 1-2 分钟才能完成。