Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

托管模型以及预处理逻辑，作为端点后面的串行推理管道

推理管道是由两个到十五个容器的线性序列组成的 Amazon SageMaker 模型，用于处理请求以根据数据进行推理。您可以使用推理管道，定义和部署预训练 SageMaker 内置算法与您打包在 Docker 容器中的自定义算法的任意组合。您可以使用推理管道合并预处理、预测和后处理数据科学任务。推理管道是完全托管的。

您可以添加 SageMaker Spark ML Serving 和 scikit-learn 容器，重复使用为训练模型开发的数据转换器。您可以将整个装配的推理管道视为一个 SageMaker 模型，可用于直接进行实时预测或者处理批量转换，无需任何外部的预处理。

在推理管道模型中，SageMaker 将调用作为 HTTP 请求序列进行处理。管道中的第一个容器处理初始请求，然后中间响应作为请求发送到第二个容器，对于管道中的各个容器以此类推。SageMaker 将最终响应返回客户端。

当您部署管道模型时，SageMaker 在端点或转换作业中安装和运行每个 Amazon Elastic Compute Cloud (Amazon EC2) 实例上的所有容器。未来的处理和推理可以在低延迟下运行，因为容器与相同的 EC2 实例处于相同位置中。您可以使用 CreateModel 操作或者从控制台为管道模型定义容器。并不是设置一个 PrimaryContainer，而是使用 Containers 参数设置组成管道的容器。您还可以指定各容器的执行顺序。

管道模型是不可变的，但您可以通过使用 UpdateEndpoint 操作部署一个管道模型来更新推理管道。这种模块性支持在试验期间实现更高的灵活性。

有关如何使用 SageMaker 模型注册表创建推理管道的信息，请参阅使用模型注册表注册和部署模型。

使用此功能不会产生额外费用。您仅需为端点上运行的实例支付费用。

推理管道的示例笔记本

有关展示如何创建和部署推理管道的示例，请参阅使用 Scikit-Learn 和线性学习器的推理管道示例笔记本。有关创建和访问可用于在 SageMaker 中运行示例的 Jupyter 笔记本实例的说明，请参阅 Amazon SageMaker 笔记本实例。

要查看所有 SageMaker 示例的列表，请在创建并打开笔记本实例后，选择 SageMaker 实验选项卡。有三个推理管道笔记本。刚刚介绍的前两个推理管道笔记本位于 advanced_functionality 文件夹中，第三个笔记本位于 sagemaker-python-sdk 文件夹中。要打开笔记本，请选择其 Use (使用) 选项卡，然后选择 Create copy (创建副本)。