异步推理 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

异步推理

Amazon SageMaker 异步推理是 SageMaker 中的一项新功能,可将传入请求排队并异步处理它们。此选项非常适合具有最大 1GB 的大负载大小、处理时间长和接近实时延迟要求的请求。异步推理使您能够在没有要处理的请求时将实例计数自动缩放到零,从而节省成本,因此您只需在终端节点处理请求时付费。

如何使用

创建异步推理端点类似于创建实时推理端点。您可以使用现有的 SageMaker 模型,只需指定AsyncInferenceConfig对象创建终端节点配置时使用EndpointConfig字段中的CreateEndpointConfigAPI。要调用此终端节点,您需要将请求负载放置在 Amazon S3 中,并提供指向此负载的指针,作为InvokeEndpointAsync请求. 调用时,SageMaker 将请求排队以进行处理,并返回标识符和输出位置作为响应。处理后,SageMaker 将结果放置在 Amazon S3 位置。您可以选择通过 Amazon SNS 接收成功或错误通知。有关如何设置异步通知的更多信息,请参阅检查预测结果.

注意

异步推理配置的存在(AsyncInferenceConfig) 对象意味着终端节点只能接收异步调用。

怎样入门?

如果您是首次接触 Amazon SageMaker 异步推理的用户,我们建议您执行以下操作: