本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
部署模型用于推理
借助 Amazon SageMaker，您可以部署机器学习 (ML) 模型来进行预测，也称为推理。 SageMaker 提供多种机器学习基础架构和模型部署选项，以帮助满足您的所有机器学习推理需求。它是一项完全托管的服务，它与 MLOPs 工具集成。借助它，您可以扩展模型部署，降低推理成本，在生产环境中更有效地管理模型，并减轻运营负担。
构建和训练机器学习模型后，你可以使用 SageMaker Inference 开始从模型中获取预测或推论。借助 SageMaker Inference，您可以设置返回推理的端点，也可以从模型中运行批量推断。
要开始使用 SageMaker Inference，请参阅以下各节并查看，推理选项以确定哪个功能最适合您的用例。
您可以参阅资源部分，了解更多故障排除和参考信息、帮助您入门的博客和示例以及常见问题解答。
开始前的准备工作
以下主题假设您已构建和训练了一个或多个机器学习模型，并已准备好部署它们。您无需训练模型即可在 SageMaker 中部署模型 SageMaker 并获得推论。如果您没有自己的模型，也可以使用 SageMaker内置算法或预训练模型。
如果您是新手 SageMaker ，但尚未选择要部署的模型，请按照 Amazon 入门 SageMaker教程中的步骤进行操作。使用本教程来熟悉如何 SageMaker管理数据科学过程以及它如何处理模型部署。有关模型训练的更多信息，请参阅训练模型。
有关更多信息、参考和其他示例，请参阅资源。
模型部署步骤
对于推理端点，常规工作流包括以下内容：
通过指向 Amazon S3 中存储的模型工件和容器映像，在 SageMaker Inference 中创建模型。
选择推理选项。有关更多信息，请参阅 推理选项。
通过 SageMaker 在终端节点后面选择所需的实例类型和实例数量来创建推理终端节点配置。您可以使用 Amazon SageMaker 推理推荐器来获取实例类型的建议。对于无服务器推理，您只需根据模型大小提供所需的内存配置。
创建 SageMaker 推理端点。
调用您的端点以收到推理作为响应。
下图显示了上述工作流。
您可以使用 Amazon 控制台、 Amazon 软件开发工具包、 SageMaker Python 软件开发工具包 Amazon CloudFormation 或。 Amazon CLI
要使用批量转换进行批量推理，请指向您的模型构件和输入数据，然后创建批量推理作业。与其托管终端节点进行推理，不如将您的推断 SageMaker输出到您选择的 Amazon S3 位置。
推理选项
SageMaker 提供了多个推理选项，因此您可以选择最适合您的工作负载的选项：
-
实时推理：实时推理非常适合具有低延迟或高吞吐量要求的在线推理。根据您选择的实例类型，对可以处理持续流量的完全托管式持久性端点 (REST API) 使用实时推理。实时推理可以支持最大 6 MB 的负载大小和 60 秒的处理时间。
-
无服务器推理：当您有间歇性或不可预测的流量模式时，无服务器推理是理想的选择。 SageMaker 管理所有底层基础架构，因此无需管理实例或扩展策略。您只需为实际用量付费，而不需为空置时间付费。实时推理可以支持最大 4 MB 的负载大小和最长 60 秒的处理时间。
-
批量转换：批量转换适用于在前期有大量数据可用并且不需要持久性端点时进行离线处理。您也可以使用批量转换来预处理数据集。它可以支持大小为 GB 且处理时间为数天的大型数据集。
-
异步推理：当您想对请求进行排队并拥有处理时间长的大型负载时，异步推断是理想的选择。异步推理可以支持高达 1 GB 的负载和长达 1 小时的长处理时间。当没有需要处理的请求时，您也可以将端点缩减到 0。
下图以流程图的形式显示了上述信息，可以帮您选择最适合您的使用案例的选项。
高级端点选项
借助实时推理，您可以使用以下高级推理选项进一步优化性能和成本：
-
在一个端点后的一个容器中托管多个模型— 如果您有多个模型使用相同的框架并且可以共享一个容器，请使用此选项。此选项可通过提高端点利用率和减少部署开销来帮助您优化成本。
-
在一个端点托管使用不同容器的多个模型— 如果您有多个模型使用不同的框架并且需要自己的容器，请使用此选项。您可以获得多模型端点的许多好处，并且可以部署各种框架和模型。
-
串行推理管道-如果您想在端点后面托管带有预处理和后处理逻辑的模型，请使用此选项。推理管道完全由管理 SageMaker 并提供更低的延迟，因为所有容器都托管在相同的 Amazon EC2 实例上。
自带模型
要在中使用现有 Docker 容器 SageMaker，请参阅调整你自己的 Docker 容器以供使用 SageMaker。
要创建新的 Docker 容器，并获得有关如何运行自己的推理代码的更高级指导，请参阅以下链接。
-
要运行您自己的推理代码托管服务，请参阅将您自己的推理代码用于托管服务。
-
要运行您自己的推理代码用于批量推理，请参阅将您自己的推理代码用于批量转换。
后续步骤
有了终端节点并了解了一般的推理工作流程后，就可以使用 Inference 中的以下功能来改进 SageMaker 推理工作流程。
监控
要通过模型精度和偏差等指标跟踪模型随时间的变化，您可以使用 Model Monitor。使用 Model Monitor，您可以设置警报，以便在模型质量出现偏差时通知您。要了解更多信息，请参阅 Model Monitor 文档。
要详细了解可用于监控模型部署和更改终端节点的事件的工具，请参阅监控 Amazon SageMaker。例如，您可以使用 Amazon 指标通过调用错误和模型延迟等指标来监控终端节点的 CloudWatch 运行状况。SageMaker 端点调用指标可以为您提供有关终端节点性能的宝贵信息。
用于模型部署的 CI/CD
要整合机器学习解决方案 SageMaker，可以使用 SageMakermLOP。您可以使用此功能自动执行机器学习工作流中的步骤并执行 CI/CD 实践。您可以使用 mLOps 项目模板来帮助设置和实施 SageMaker mLOPs 项目。 SageMaker 还支持使用自己的第三方 Git 存储库来创建 CI/CD 系统。
对于您的 ML 管道，请使用模型注册表来管理模型版本以及模型的部署和自动化。
部署防护机制
如果您想在不影响生产的情况下更新生产环境中的模型，则可以使用部署防护机制。部署护栏是 SageMaker Inference 中的一组模型部署选项，用于在生产环境中更新机器学习模型。使用完全托管式部署选项，您可以在生产环境中控制从当前模型切换到新模型的过程。流量转移模式可让您精细控制流量转移过程，而自动回滚等内置保护措施可帮助您尽早发现问题。
要了解有关部署防护机制的更多信息，请参阅部署防护机制文档。
Inferentia
如果您需要运行大规模的机器学习和深度学习应用程序，则可以使用带有实时终端节点的Inf1实例。此实例类型适用于图像或语音识别、自然语言处理 (NLP)、个性化、预测或欺诈检测等用例。
Inf1实例专为支持机器学习推理应用程序而构建，并采用 Inf Amazon erentia 芯片。 Inf1与基于 GPU 的实例相比，实例可提供更高的吞吐量和更低的每次推理成本。
要在Inf1实例上部署模型，请使用 SageMaker Neo 编译模型，然后为部署选项选择一个Inf1实例。要了解更多信息，请参阅使用 SageMaker Neo 优化模型性能。
优化模型性能
SageMaker 提供在部署机器学习模型时管理资源和优化推理性能的功能。您可以使用 SageMaker的内置算法和预建模型，以及为机器学习开发的预构建的 Docker 镜像。
要训练模型并对其进行优化以进行部署，请参阅预构建的 Docker 镜像使用 SageMaker Neo 优化模型性能。使用 SageMaker Neo，你可以训练 TensorFlow Apache mxNet PyTorch、、ONNX 和 xgBoost 模型。然后，您可以对其进行优化并部署在 ARM、Intel 和 Nvidia 处理器上。
自动扩缩
如果您的端点流量各不相同，则可能需要尝试自动扩缩。例如，在高峰时段，您可能需要更多实例来处理请求。但是，在流量较低的时期，您可能需要减少对计算资源的使用。要动态调整预配置的实例数以响应工作负载更改，请参阅自动缩放 Amazon SageMaker 模型。
如果您的流量模式不可预测或不想设置扩展策略，也可以对终端节点使用无服务器推理。然后，为您 SageMaker 管理自动缩放。在流量较低的时期， SageMaker 缩小您的终端节点，如果流量增加，则向上 SageMaker 扩展您的终端节点。有关更多信息，请参阅无服务器推理 文档。