Amazon 中的推理选项 SageMaker - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon 中的推理选项 SageMaker

SageMaker 提供了多个推理选项,因此您可以选择最适合您的工作负载的选项:

  • 实时推理实时推理非常适合具有低延迟或高吞吐量要求的在线推理。在您选择的实例类型支持下,对可以处理持续流量的永久且完全托管的终端节点 (RESTAPI) 使用实时推理。实时推理可以支持最大 6 MB 的负载大小和 60 秒的处理时间。

  • 无服务器推理:当您有间歇性或不可预测的流量模式时,无服务器推理是理想的选择。 SageMaker 管理所有底层基础架构,因此无需管理实例或扩展策略。您只需为实际用量付费,而不需为空置时间付费。实时推理可以支持最大 4 MB 的负载大小和最长 60 秒的处理时间。

  • 批量转换批量转换适用于在前期有大量数据可用并且不需要持久性端点时进行离线处理。您也可以使用批量转换来预处理数据集。它可以支持大小和处理时间GBs为几天的大型数据集。

  • 异步推理:当您想对请求进行排队并拥有处理时间长的大型负载时,异步推断是理想的选择。异步推理可以支持高达 1 GB 的负载和长达 1 小时的长处理时间。当没有需要处理的请求时,您也可以将端点缩减到 0。

下图以流程图的形式显示了上述信息,可以帮您选择最适合您的使用案例的选项。

每个 SageMaker 推理选项的好处列表。