适用于 Pod 的安全组

部署适用于 Pod 的安全组的步骤

1. 如果您使用的是仅适用于 Fargate Pod 的安全组，而且集群上没有任何 Amazon EC2 节点，请跳至第 4 步。使用以下命令查看您当前的 CNI 插件版本。

   kubectl describe daemonset aws-node --namespace kube-system | grep Image | cut -d "/" -f 2

   输出类似于以下内容。

   amazon-k8s-cni-init:1.7.5-eksbuild.1
   amazon-k8s-cni:1.7.5-eksbuild.1

   如果您的 CNI 插件版本低于 1.7.7，请将其更新到 1.7.7 或更高版本。有关更多信息，请参阅 更新 Amazon VPC CNI Amazon EKS 附加组件。

2. 将 AmazonEKSVPCResourceController 托管策略添加到与您的 Amazon EKS 集群关联的集群角色。策略允许角色管理网络接口、网络接口的私有 IP 地址以及与实例之间的连接和分离。以下命令可将策略附加到名为 eksClusterRole 的集群角色。

   aws iam attach-role-policy \
       --policy-arn arn:aws:iam::aws:policy/AmazonEKSVPCResourceController \
       --role-name eksClusterRole

3. 通过在 aws-node DaemonSet 中将 ENABLE_POD_ENI 变量设置为 true，启用 CNI 插件来管理 Pod 的网络接口。此设置一旦设置为 true 后，插件会为集群中的每个节点添加一个带有值 vpc.amazonaws.com/has-trunk-attached=true 的标注。VPC 资源控制器会创建并附加一个带有 aws-k8s-trunk-eni 描述且名为中继网络接口的特殊网络接口。

   kubectl set env daemonset aws-node -n kube-system ENABLE_POD_ENI=true

   注意

   中继网络接口包含在实例类型支持的最大网络接口数中。有关每种实例类型支持的最大接口数的列表，请参阅适用于 Linux 实例的 Amazon EC2 用户指南中的每种实例类型的每个网络接口的 IP 地址数。如果您的节点已经附加了最大数量的标准网络接口，则 VPC 资源控制器将预订一个空间。您将必须缩减您正在运行的容器 Pod，以便控制器足以分离和删除标准网络接口、创建中继网络接口并将其附加到实例。

   您可以使用以下命令查看哪些节点的 aws-k8s-trunk-eni 设置为 true。

   kubectl get nodes -o wide -l vpc.amazonaws.com/has-trunk-attached=true

   创建中继网络接口后，可以从中继或标准网络接口为 Pod 分配辅助 IP 地址。如果节点被删除，中继接口将自动删除。

   当您在后面的步骤中部署适用于 Pod 的安全组时，VPC 资源控制器会创建一个具有 aws-k8s-branch-eni 描述的名为分支网络接口的特殊网络接口，并将安全组与其关联。除了附加到节点的标准网络接口和中继网络接口之外，还会创建分支网络接口。如果您使用的是存活探测或就绪探测器，则您还需要禁用 TCP 早期解复用器，以便 kubelet 可以通过 TCP 连接到分支网络接口上的 Pod。要禁用 TCP 早期解复用器，请运行以下命令：

   kubectl patch daemonset aws-node \
     -n kube-system \
     -p '{"spec": {"template": {"spec": {"initContainers": [{"env":[{"name":"DISABLE_TCP_EARLY_DEMUX","value":"true"}],"name":"aws-vpc-cni-init"}]}}}}'

4. 创建要将资源部署到该处的命名空间。

   kubectl create namespace my-namespace

5. 将 Amazon EKS SecurityGroupPolicy 部署到集群。

   1. 将以下示例安全策略保存到名为 my-security-group-policy.yaml 的文件中。如果您希望根据服务账户标签选择 Pod，您可以将 podSelector 替换为 serviceAccountSelector。您必须指定一个或其他选择器。空的 podSelector（示例：podSelector: {}）会选择命名空间中的所有 Pod。空的 serviceAccountSelector 会选择命名空间中的所有服务账户。您必须为 groupIds 指定 1-5 个安全组 ID。如果指定了多个 ID，则所有安全组中的所有规则的组合都会对选定的 Pod 生效。

      apiVersion: vpcresources.k8s.aws/v1beta1
      kind: SecurityGroupPolicy
      metadata:
        name: my-security-group-policy
        namespace: my-namespace
      spec:
        podSelector: 
          matchLabels:
            role: my-role
        securityGroups:
          groupIds:
            - sg-abc123

      重要

      • 您在策略中指定的安全组必须是存在的。如果它们不存在，那么当您部署与选择器匹配的 Pod 时，该 Pod 会在创建过程中处于卡住状态。如果您描述 Pod，则会看到类似于以下内容的错误消息：An error occurred (InvalidSecurityGroupID.NotFound) when calling the CreateNetworkInterface operation: The securityGroup ID 'sg-abc123' does not exist。

      • 安全组必须允许通过您为其配置了探测器的任何端口来自集群安全组的入站通信（对于 kubelet）。

      • 安全组必须允许与安全组进行出站通信。此安全组应允许来自其的入站 TCP 和 UDP 端口 53（针对 CoreDNS 容器组）。

      • 如果您将安全组策略与 Fargate 一起使用，请确保您的安全组具有允许 Pod 与 Kubernetes 控制层面通信的规则。执行此操作的最简单方法是将集群安全组指定为安全组之一。

      • 安全组策略仅适用于新调度的 Pod，不影响正在运行的 Pod。

   2. 部署策略。

      kubectl apply -f my-security-group-policy.yaml

6. 部署其标注与上一步中指定的 podSelector 的 my-role 值相匹配的示例应用程序。

   1. 将以下内容保存到一个文件中。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: my-deployment
        namespace: my-namespace
        labels:
          app: my-app
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: my-app
        template:
          metadata:
            labels:
              app: my-app
              role: my-role
          spec:
            containers:
            - name: my-container
              image: my-image
              ports:
              - containerPort: 80

   2. 使用以下命令部署应用程序。当您部署应用程序时，CNI 插件将匹配 role 标注，并且您在上一步中指定的安全组将应用到 Pod。

      kubectl apply -f my-security-group-policy.yaml

      注意

      • 如果您的 Pod 卡在 Waiting 状态，而且您在描述 Pod 时看到了 Insufficient permissions: Unable to create Elastic Network Interface.，请确认您已在上一步中将 IAM 策略添加到 IAM 集群角色。

      • 如果您的 Pod 卡在 Pending 状态，请确认您的节点实例类型已列在 Amazon EC2 支持的实例和分支网络接口 中，并且尚未达到实例类型支持的最大分支网络接口数乘以节点组中节点数得到的数值。例如，m5.large 实例支持 9 个分支网络接口。如果节点组有 5 个节点，则最多可以为节点组创建 45 个分支网络接口。在删除另一个具有关联安全组的 Pod 前，您尝试部署的第 46 个 Pod 将会处于 Pending 状态。

      如果您运行 kubectl describe pod my-deployment-xxxxxxxxxx-xxxxx -n my-namespace 并看到类似于以下消息内容的消息，则可以安全地忽略该消息。当 CNI 插件尝试在创建网络接口时设置主机联网并失败时，可能会出现此消息。CNI 插件会记录此事件，直到创建了网络接口为止。

      Failed to create pod sandbox: rpc error: code = Unknown desc = failed to set up sandbox container "e24268322e55c8185721f52df6493684f6c2c3bf4fd59c9c121fd4cdc894579f" network for pod "my-deployment-59f5f68b58-c89wx": networkPlugin
      cni failed to set up pod "my-deployment-59f5f68b58-c89wx_my-namespace" network: add cmd: failed to assign an IP address to container

      您不能超过可在实例类型上运行的 Pod 的最大数量。有关可在每种实例类型上运行的 Pod 的最大数量的列表，请参阅 GitHub 上的 eni-max-pods.txt。当您删除具有关联安全组的 Pod 或删除运行该 Pod 的节点时，VPC 资源控制器会删除分支网络接口。如果您使用适用于安全组的 Pod 删除带有 Pod 的集群，则该控制器不会删除分支网络接口，因此您需要自行删除它们。