Amaz Amazon Batch on EKS 私有集群入门

打开Amazon CloudShell 控制台并将区域设置为us-east-1。在本教程的其余部分中，请确保您使用的是us-east-1。

使用示例eksctl配置文件在该us-east-1区域创建私有 EKS 集群。将 yaml 文件保存到您的 Amazon CloudShell 环境中并命名clusterConfig.yaml。您可以使用要用于集群的名称进行更改my-test-cluster。

kind: ClusterConfig 
apiVersion: eksctl.io/v1alpha5
metadata:
    name: my-test-cluster 
    region: us-east-1
availabilityZones: 
    - us-east-1a 
    - us-east-1b 
    - us-east-1c
managedNodeGroups:
    - name: ng-1
      privateNetworking: true 
privateCluster: 
    enabled: true 
    skipEndpointCreation: false

使用命令创建您的资源:eksctl create cluster -f clusterConfig.yaml。创建集群可能需要 10 到 15 分钟。

集群创建完成后，您必须将您 Amazon CloudShell 的 IP 地址添加到允许列表中。要查找您 Amazon CloudShell 的 IP 地址，请运行以下命令：

curl http://checkip.amazonaws.com

获得公有 IP 地址后，您必须创建允许列表规则：

aws eks update-cluster-config \
  --name my-test-cluster \
  --region us-east-1 \
  --resources-vpc-config endpointPublicAccess=true,endpointPrivateAccess=true,publicAccessCidrs=["<Public IP>/32"]

然后将更新应用于 kubectl 配置文件：

aws eks update-kubeconfig --name my-test-cluster --region us-east-1

要测试您是否有权访问节点，请运行以下命令：

kubectl get nodes

命令的输出是：

NAME                              STATUS   ROLES    AGE     VERSION
ip-192-168-107-235.ec2.internal   Ready    none     1h   v1.32.3-eks-473151a
ip-192-168-165-40.ec2.internal    Ready    none     1h   v1.32.3-eks-473151a
ip-192-168-98-54.ec2.internal     Ready    none     1h   v1.32.1-eks-5d632ec

为 Amazon Batch 作业创建专用的命名空间

用 kubectl 以创建新的命名空间。

$ namespace=my-aws-batch-namespace

$ cat - <<EOF | kubectl create -f -
{
  "apiVersion": "v1",
  "kind": "Namespace",
  "metadata": {
    "name": "${namespace}",
    "labels": {
      "name": "${namespace}"
    }
  }
}
EOF

输出：

namespace/my-aws-batch-namespace created

通过基于角色的访问控制（RBAC）启用访问权限

用 kubectl 为集群创建 Kubernetes 角色以允许 Amazon Batch 监视节点和容器组（pod），并用于绑定该角色。您必须为每个 Amazon EKS 集群执行一次此操作。

$ cat - <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: aws-batch-cluster-role
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list"]
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["apps"]
    resources: ["daemonsets", "deployments", "statefulsets", "replicasets"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["clusterroles", "clusterrolebindings"]
    verbs: ["get", "list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: aws-batch-cluster-role-binding
subjects:
- kind: User
  name: aws-batch
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: aws-batch-cluster-role
  apiGroup: rbac.authorization.k8s.io
EOF

输出：

clusterrole.rbac.authorization.k8s.io/aws-batch-cluster-role created
clusterrolebinding.rbac.authorization.k8s.io/aws-batch-cluster-role-binding created

为管理和生命周期 pod 创建命名空间范围 Amazon Batch 的Kubernetes角色并将其绑定。必须为每个唯一的命名空间执行一次此操作。

$ namespace=my-aws-batch-namespace

$ cat - <<EOF | kubectl apply -f - --namespace "${namespace}"
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: aws-batch-compute-environment-role
  namespace: ${namespace}
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create", "get", "list", "watch", "delete", "patch"]
  - apiGroups: [""]
    resources: ["serviceaccounts"]
    verbs: ["get", "list"]
  - apiGroups: ["rbac.authorization.k8s.io"]
    resources: ["roles", "rolebindings"]
    verbs: ["get", "list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: aws-batch-compute-environment-role-binding
  namespace: ${namespace}
subjects:
- kind: User
  name: aws-batch
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: aws-batch-compute-environment-role
  apiGroup: rbac.authorization.k8s.io
EOF

输出：

role.rbac.authorization.k8s.io/aws-batch-compute-environment-role created
rolebinding.rbac.authorization.k8s.io/aws-batch-compute-environment-role-binding created

更新Kubernetesaws-auth配置映射以将前面的 RBAC 权限映射到服务相关角色。 Amazon Batch

$ eksctl create iamidentitymapping \
    --cluster my-test-cluster \
    --arn "arn:aws:iam::<your-account-ID>:role/AWSServiceRoleForBatch" \
    --username aws-batch

输出：

2022-10-25 20:19:57 [ℹ]  adding identity "arn:aws:iam::<your-account-ID>:role/AWSServiceRoleForBatch" to auth ConfigMap

以下命令创建直通缓存规则。你可以tutorial-prefix用不同的前缀替换。

aws ecr create-pull-through-cache-rule \
    --ecr-repository-prefix "my-prefix" \
    --upstream-registry-url "public.ecr.aws" \
    --region us-east-1

使用公共 ECR 进行身份验证。

aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin <your-account-ID>.dkr.ecr.us-east-1.amazonaws.com

现在你可以拉取图像了。

docker pull <your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2

您可以通过运行以下命令来验证存储库和映像：

aws ecr describe-repositories

aws ecr describe-images --repository-name my-prefix/amazonlinux/amazonlinux

用于拉取容器的图像字符串采用以下格式：

<your-account-ID>.dkr.ecr.us-east-1.amazonaws.com/my-prefix/amazonlinux/amazonlinux:2

打开 Amazon Batch 控制台，网址为https://console.aws.amazon.com/batch/。

在导航窗格中选择 Job 队列。

在 Job 队列表中，选择您为本教程创建的 Job 队列。

从 “操作” 中选择 “禁用”。当 Job 队列状态变为 “已禁用” 后，您可以选择 “删除”。

删除 Job 队列后，在导航窗格中选择计算环境。

选择您为本教程创建的计算环境，然后从 “操作” 中选择 “禁用”。计算环境可能需要 1-2 分钟才能完全禁用。

计算环境的 “状态” 变为 “已禁用” 后，选择 “删除”。删除计算环境可能需要 1-2 分钟。