使用 Amazon SageMaker Elastic Inference (EI) - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

使用 Amazon SageMaker Elastic Inference (EI)

此功能在中国区域中不可用。

使用 Amazon Elastic Inference (EI),您可以对作为 Amazon SageMaker 托管模型部署的深度学习模型,提升吞吐量并缩短获取实时推理的延迟,但会付出使用终端节点 GPU 实例的一小部分成本。通过 EI,您可以付出使用完整 GPU 实例的一小部分成本,将推理加速添加到托管的终端节点。除了 CPU 实例类型之外,将可用大小之一的 EI 加速器添加到可部署模型中,然后将该模型作为生产变体添加到您用于部署托管终端节点的终端节点配置中。您还可以将 EI 加速器添加到 Amazon SageMaker 笔记本实例,这样您可在生成模型时测试并评估推理性能。