在亚马逊上部署模型 SageMaker HyperPod

SageMaker HyperPod 现在，Amazon 不仅仅是培训，还提供了一个全面的推理平台，该平台将 Kubernetes 的灵活性与托管服务的卓越运营相结合。 Amazon 在整个模型生命周期中使用相同的 HyperPod 计算，以企业级可靠性部署、扩展和优化您的机器学习模型。

亚马逊 SageMaker HyperPod 提供灵活的部署接口，允许您通过多种方法部署模型，包括 kubectl、Python SDK、Amazon SageMaker Studio 用户界面或 CLI HyperPod 。该服务提供高级自动缩放功能以及可根据需求自动调整的动态资源分配。此外，它还包括全面的可观察性和监控功能，可跟踪延迟和 GPU 利用率等 time-to-first-token关键指标，以帮助您优化性能。

用于训练和推理的统一基础架构

通过在训练和推理工作负载之间无缝过渡计算资源，最大限度地提高 GPU 利用率。这降低了总拥有成本，同时保持了运营的连续性。

企业就绪部署选项

部署来自多个来源的模型，包括来自亚马逊的开放权重和门控模型，以及支持单节点 SageMaker JumpStart 和多节点推理架构的 Amazon FSx S3 和 Amazon 的自定义模型。