本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
部署模型用于推理
构建并训练模型之后，您可以部署这些模型，以便通过两种方式之一来获取预测：
-
要设置持久性终端节点以便从模型获取预测，请使用 Amazon SageMaker 托管服务。有关使用 SageMaker 托管服务部署单个模型或多个模型的概述，请参阅在 SageMaker 托管服务上部署模型。
有关如何将模型部署到 SageMaker 托管服务的示例，请参阅将模型部署到 SageMaker 托管服务。
或者，如果您愿意，请观看以下视频教程：
-
要获取整个数据集的预测，请使用 SageMaker 批量转换。有关使用 SageMaker 批量转换部署模型的概述，请参阅使用批量转换获取整个数据集的推理。
有关如何使用批量转换部署模型的示例，请参阅 （可选）使用批量转换进行预测。
或者，如果您愿意，请观看以下视频教程：
Prerequisites
以下主题假设您已构建和训练了一个或多个机器学习模型，并已准备好部署它们。如果您刚开始使用 SageMaker 并且尚未完成这些先决条件任务，请完成 入门Amazon SageMaker教程中的步骤，熟练掌握 SageMaker 如何管理数据科学流程以及如何处理模型部署的示例。有关训练模型的更多信息，请参阅训练模型。
您需要做什么？
SageMaker 提供了用于在部署机器学习模型时管理资源和优化推理性能的功能。有关使用推理管道、使用 Neo 编译和部署模型、Elastic Inference 以及自动模型伸缩的指南，请参阅以下主题。
-
要管理数据处理和实时预测，或者在管道中处理批量转换，请参阅部署推理管道。
-
如果要在 inf1 实例上部署模型，请参阅使用 Neo 编译并部署模型。
-
要训练一次 TensorFlow、Apache MXNet、PyTorch、ONNX 以及 XGBoost 模型并优化它们以部署到 ARM、Intel 和 Nvidia 处理器上，请参阅 使用 Neo 编译并部署模型。
-
在您不需要持久的终端节点时，要快速预处理整个数据集或者从经训练的模型获取大型数据集的推理，请参阅使用批量转换。
-
对部署作为 SageMaker 托管模型的深度学习模型，有关使用终端节点 GPU 实例来提升吞吐量并缩短获取实时推理延迟的指南，请参阅 使用 Amazon SageMaker Elastic Inference (EI) 。
-
要动态调整预配置的实例数以响应工作负载更改，请参阅自动扩展 Amazon SageMaker 模型。
-
要使用共享服务容器创建可托管多个模型的终端节点，请参阅 使用多模型终端节点托管多个模型。
-
要在生产中测试多个模型，请参阅在生产中测试模型。
管理模型部署
有关管理模型部署的指南，包括监控、故障排查和最佳实践，以及有关与推理托管实例关联的存储的信息：
-
有关可用于监控模型部署的工具，请参阅监控 Amazon SageMaker。
-
有关模型部署故障排查，请参阅Amazon SageMaker 模型部署问题排查。
-
有关模型部署最佳实践，请参阅部署最佳实践。
-
有关为不同大小托管实例提供的存储卷大小的更多信息，请参阅托管实例存储卷。
部署自己的推理代码
对于需要有关如何运行自己的推理代码的更高级指导的开发人员：
-
要运行您自己的推理代码托管服务，请参阅将您自己的推理代码用于托管服务。
-
要运行您自己的推理代码用于批量转换，请参阅将您自己的推理代码用于批量转换。
SageMaker 指南
主题