Amazon EKS 上的人工智能（AI）和机器学习（ML）概述

集群完全控制，无需隐藏抽象即可微调成本和配置

生产环境中实时推理工作负载的亚秒级延迟保障

高级自定义设置，例如多实例 GPU、多云策略和操作系统级调整

能够使用 EKS 作为跨人工智能/机器学习管道的统一编排工具，集中管理工作负载

实时（在线）推理：EKS 借助 Amazon EC2 Inf1 和 Inf2 实例上的 TorchServe、Triton Inference Server 和 KServe 等工具，为传入数据（例如欺诈检测）提供亚秒级延迟的即时预测能力。这些工作负载不仅受益于 Karpenter 和 KEDA 的动态扩缩，还能利用 Amazon EFS 在容器组（pod）之间进行模型分片。Amazon ECR Pull Through Cache（PTC） 可加快模型更新速度，而具有 Amazon EBS 优化型卷的 Bottlerocket 数据卷可确保快速访问数据。

常规模型训练：组织可利用 EKS，基于 Amazon EC2 p4d 和 Amazon EC 2 Trn1 实例，使用 Kubeflow Training Operator（KRO）、Ray Serve 和 Torch Distributed Elastic，在大型数据集上长时间训练复杂模型。这些工作负载由 Volcano、Yunikorn 和 Kueue 等工具提供批量计划支持。Amazon EFS 支持共享模型检查点，并且 Amazon S3 使用生命周期策略处理模型的导入/导出，以进行版本管理。

检索增强生成（RAG）管道：EKS 通过集成检索和生成流程来管理客户支持聊天机器人和类似的应用程序。这些工作负载通常使用 Argo Workflows 和 Kubeflow 等工具进行编排，使用 Pinecone、Weaviate 或 Amazon OpenSearch 等向量数据库，并通过应用程序负载均衡器控制器（LBC）向用户公开应用程序。NVIDIA NIM 可优化 GPU 利用率，而 Prometheus 和 Grafana 则监控资源使用情况。

生成式人工智能模型部署：各公司使用 Amazon EC2 G5 和 Inferentia 加速器上的 Ray Serve、vLLM、和 Triton Inference Server，在 EKS 上部署实时内容创建服务，例如文本或图像生成。这些部署优化了大型模型的性能和内存利用率。JupyterHub 支持迭代开发，Gradio 提供简单的 Web 界面，并且 S3 Mountpoint CSI 驱动程序允许将 S3 存储桶安装为文件系统，以访问大型模型文件。

批量（离线）推理：组织通过使用 Amazon Batch 或 Volcano 的计划作业高效处理大型数据集。这些工作负载通常将 Inf1 和 Inf2 EC2 实例用于 Amazon Inferentia 芯片，将 Amazon EC2 G4dn 实例用于 NVIDIA T4 GPU，或者将 c5 和 c6i CPU 实例用于最大限度地提高非高峰时段分析任务的资源利用率。Amazon Neuron SDK 和 NVIDIA GPU 驱动程序优化了性能，MIG/TS 则实现了 GPU 共享。存储解决方案包括 Amazon S3、Amazon EFS 和 FSx for Lustre，以及适用于各种存储类的 CSI 驱动程序。模型管理利用 Kubeflow Pipelines、Argo Workflows 和 Ray Cluster 等工具，监控管理则利用 Prometheus、Grafana 以及自定义模型监控工具。

Unitary 将人工智能内容审核范围扩大到每天 2600 万个视频，不仅实现了高吞吐量、低延迟的推理，还将容器启动时间缩短了 80%，确保在流量波动时快速响应扩缩事件。

Miro，一个为全球 7000 万用户提供服务的可视化协作平台，相较于之前的自主管理型 Kubernetes 集群，计算成本降低了 80%。

Synthesia 提供生成式人工智能视频创建服务，供客户根据文本提示创建逼真的视频，其机器学习模型训练吞吐量提升了 30 倍。

Harri 为酒店业提供 HR 技术解决方案，迁移至 Amazon Graviton 处理器后，横向缩减速度提高了 90%，可应对激增的需求，同时计算成本降低了 30%。

Ada Support，一家人工智能驱动的客户服务自动化公司，其计算成本降低了 15%，并且计算效率提升了 30%。

Snorkel AI，旨在帮助企业构建和调整基础模型和大型语言模型，通过为其 GPU 资源实施智能扩缩机制，节省了 40% 以上的成本。