使用 Amazon SageMaker AI 进行推理的高级端点选项 - Amazon SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用 Amazon SageMaker AI 进行推理的高级端点选项

借助实时推理,您可以使用以下高级推理选项进一步优化性能和成本:

  • 多模型端点:如果您的多个模型使用相同的框架,并且可以共享一个容器,请使用此选项。此选项可通过提高端点利用率和减少部署开销来帮助您优化成本。

  • 多容器端点:如果您的多个模型使用不同的框架,并且需要各自的容器,请使用此选项。您可以获得多模型终端节点的许多优点,并且可以部署各种框架和模型。

  • 串行推理管道:如果您要在端点后面托管带有预处理和后处理逻辑的模型,请使用此选项。推理管道由 SageMaker AI 完全托管,由于所有容器都托管在相同的 Amazon EC2 实例上,因此延迟更低。