在 Amazon SageMaker 中部署模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Amazon SageMaker 中部署模型

在训练机器学习模型之后，您可以使用 Amazon SageMaker 对其进行部署，以便通过以下任何方式获得预测，具体取决于您的使用案例：

  • 要获取一次进行一个预测的持久实时终端节点，请使用 SageMaker 实时托管服务。请参阅 实时推理。

  • 使用无服务器推理，这些工作负载在流量高峰之间存在空闲时间并可以容忍冷启动。请参阅 。

  • 使用 Amazon SageMaker 异步推理，其有效负载大小高达 1GB、处理时间长以及接近实时延迟要求的请求。请参阅 异步推理。

  • 要获取整个数据集的预测，请使用 SageMaker 批量转换。请参阅 使用批量转换。

SageMaker 还提供了用于在部署机器学习模型时管理资源和优化推理性能的功能：

  • 要管理边缘设备上的模型，以便在智能相机、机器人、个人计算机和移动设备等边缘设备队列上优化、保护、监控和维护机器学习模型，请参阅使用在边缘部署模型 SageMaker Edge 管理器.

  • 要优化 Gluon、Keras、MXNet、PyTorch、TensorFlow、TensorFlow Lite 和 ONNX 模型，以在 Ambarella、ARM、Intel、Nvidia、NXP、Qualcomm、TensorFlow 和 Xilinx 基于 Ambarella、ARM、Intel、Nvidia、NXP、Qualcomm、TensorFlow 和 Xilinx 模型。使用 Neo 优化模型性能.

有关所有部署选项的详细信息，请参阅。部署推理模型.