Amazon EKS 优化版 Amazon Linux AMI 生成脚本 - Amazon EKS
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

Amazon EKS 优化版 Amazon Linux AMI 生成脚本

Amazon Elastic Kubernetes Service (Amazon EKS) 已公开用于构建 Amazon EKS 优化版 AMI 的生成脚本的源代码。GitHub 上现在提供了这些生成脚本。

Amazon EKS 优化版 Amazon Linux AMI 基于 Amazon Linux 2 而构建,专门用作 Amazon EKS 集群中的节点。您可以使用此存储库查看有关 Amazon EKS 团队如何配置 kubelet、Docker、适用于 Kubernetes 的 Amazon IAM 身份验证器等项目的详细信息。

生成脚本存储库包含 HashiCorp Packer 模板和生成脚本以生成 AMI。这些脚本是 Amazon EKS 优化版 AMI 生成的可信来源,因此您可关注 GitHub 存储库以监控对 AMI 所做的更改。例如,您可能希望自己的 AMI 使用 EKS 团队用于正式 AMI 的同一版本的 Docker。

GitHub 存储库还包含在启动时运行以配置实例的证书数据、控制层面终端节点、集群名称等内容的专用引导脚本

此外,GitHub 存储库还包含我们的 Amazon EKS 节点 Amazon CloudFormation 模板。利用这些模板,可以更轻松地运转正在运行 Amazon EKS 优化版 AMI 的实例,并将其注册到集群。

有关更多信息,请参阅 GitHub 上的存储库 (https://github.com/awslabs/amazon-eks-ami)。

Amazon EKS 优化版 Amazon Linux 2 包含可选的引导标记,用于启用 Containerd 运行时间。当在适用于 v1.21 的 Amazon EKS 优化版加速型 Amazon Linux AMI 中引导启动时,Amazon Inferentia 工作负载不受支持。

为自定义 Amazon Linux AMI 配置 VT1

Amazon EKS 中的自定义 Amazon Linux AMI 可以支持 Amazon Linux 2、Ubuntu 18 和 Ubuntu 20 的 VT1 视频转码实例系列。VT1 支持具有加速 H.264/AVC 和 H.265/HEVC 编解码器的 Xilinx U30 媒体转码卡。要获得这些加速实例的好处,您必须按照以下步骤操作:

  1. 从 Amazon Linux 2、Ubuntu 18 或 Ubuntu 20 创建并启动基本 AMI。

  2. 基本 AMI 启动后,请安装 XRT 驱动程序和节点上的运行时。

  3. 创建集群

  4. 在您的集群上安装 Kubernetes FPGA 插件

    kubectl apply -f fpga-device-plugin.yml

该插件现在将在 Amazon EKS 集群上为每个节点宣传 Xilinx U30 设备。您可以使用 FFMPEG Docker 镜像在 Amazon EKS 集群上运行示例视频转码工作负载。

为自定义 Amazon Linux 2 AMI 配置 DL1

Amazon EKS 中的自定义 Amazon Linux 2 AMI 可以通过额外的配置和 Kubernetes 附加组件大规模支持深度学习工作负载。本文档介绍了为本地设置或作为较大云配置中的基准设置通用 Kubernetes 解决方案所需的组件。要支持此函数,您必须在自定义环境中执行以下步骤:

  • SynapaseAI® Software 驱动程序加载到系统中:这些驱动程序包含在 Github 上可用的 AMI

    Habana 设备插件 — 一个 Daemonset,允许您在 Kubernetes 集群中自动启用 Habana 设备注册并跟踪设备运行状况。

  • Kubernetes 版本介于 1.19 至 1.21 之间(通过测试确认)。

  • Helm 3.x

  • 用于安装 MPI Operator 的 Helm Chart

  • MPI Operator

  1. 从 Amazon Linux 2、Ubuntu 18 或 Ubuntu 20 创建并启动基本 AMI。

  2. 跟随这些说明以为 DL1 设置环境。