Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 DJL Serving 部署模型

DJL Serving 是一款高性能的通用独立模型服务解决方案。它可以获取一个深度学习模型、多个模型或工作流，并通过 HTTP 端点提供它们。

你可以使用其中一个 DJL Serving Dee p Learning Containers (DLCs) 来为你的模型提供服务。 Amazon要了解支持的模型类型和框架，请参阅 DJL 服务 GitHub存储库。

DJL Serving 提供了许多功能，可协助部署高性能的模型：

以下各节介绍如何在 SageMaker AI 上使用 DJL 服务来设置终端节点。

入门

要开始部署，请确保您具备以下先决条件：

自定义容器

您可以将软件包添加到基本 DLC 映像中，用于自定义您的容器。假设您想在 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.22.1-deepspeed0.9.2-cu118 Docker 映像中添加一个包。您必须使用所需的映像作为基础映像创建一个 dockerfile，添加所需的软件包，然后将该映像推送到 Amazon ECR。

要添加软件包，请完成以下步骤。

现在，您应该有一个自定义容器映像，可用于模型服务。有关自定义容器的更多示例，请参阅构建 Dee Amazon p Learning Containers 自定义镜像。

准备模型构件

在 SageMaker AI 上部署模型之前，必须将模型工件打包到.tar.gz文件中。DJL Serving 在您的存档中接受以下构件：

以下是 model.tar.gz 结构的示例。

 - model_root_dir # root directory
    - serving.properties            
    - model.py # your custom handler file for Python, if you choose not to use the default handlers provided by DJL Serving
    - model binary files # used for Java mode, or if you don't want to use option.model_id and option.s3_url for Python mode

DJL Serving 支持采用 DJL 或 Python 引擎的 Java 引擎。前面的构件并非均为必需；所需构件因您选择的模式而异。例如，在 Python 模式下，您只需要在 serving.properties 文件中指定 option.model_id；无需在 LMI 容器中指定模型检查点。在 Java 模式下，您需要打包模型检查点。有关如何使用不同引擎配置 serving.properties 和操作的更多详细信息，请参阅 DJL Serving 操作模式。

使用单模型端点通过 DJL Serving 进行部署

准备好模型构件后，您可以将模型部署到 A SageMaker I 端点。此部分介绍如何使用 DJL Serving 将单个模型部署到端点。如果您要部署多个模型，请跳过此部分并转至 使用多模型端点通过 DJL Serving 进行部署。

以下示例向您展示了一种使用 Amaz SageMaker on Python 软件开发工具包创建模型对象的方法。您需要指定以下字段：

import boto3
 import sagemaker
from sagemaker.model import Model
from sagemaker import image_uris, get_execution_role

aws_region = "aws-region"
sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name=aws_region))
role = get_execution_role()

def create_model(model_name, model_s3_url):
    # Get the DJL DeepSpeed image uri
    image_uri = image_uris.retrieve(
        framework="djl-deepspeed",
        region=sagemaker_session.boto_session.region_name,
        version="0.20.0"
    )
    model = Model(
        image_uri=image_uri,
        model_data=model_s3_url,
        role=role,
        name=model_name,
        sagemaker_session=sagemaker_session,
    )
    return model

使用多模型端点通过 DJL Serving 进行部署

如果您想将多个模型部署到一个端点， SageMaker AI 提供了多模型端点，这是一种可扩展且经济实惠的解决方案，可以部署大量模型。DJL Serving 还支持同时加载多个模型，并可同时对每个模型运行推理。DJL 服务容器遵守 SageMaker AI 多模型端点合同，可用于部署多模型端点。

每个单独的模型构件都需要按照上一部分准备模型构件中所述的相同方式进行打包。您可以在 serving.properties 文件中设置特定于模型的配置，在 model.py 中设置特定于模型的推理处理程序代码。对于多模型端点，需要按以下方式排列模型：

 root_dir
        |-- model_1.tar.gz
        |-- model_2.tar.gz
        |-- model_3.tar.gz
            .
            .
            . 

Amaz SageMaker on Python 软件开发工具包使用该MultiDataModel对象来实例化多模型终端节点。根目录的 Amazon S3 URI 应作为 model_data_prefix 参数传递给 MultiDataModel 构造函数。

DJL Serving 还提供了多个配置参数来管理模型内存需求，例如 required_memory_mb 和 reserved_memory_mb，可在 serving.properties 文件中为每个模型进行配置。这些参数对于更平稳地处理内存不足错误很有用。有关所有可配置的参数，请参阅 djl 服务中的OutofMemory 处理。

利用 DJL Serving 的自动扩缩功能，您可以轻松地确保根据传入流量相应地缩放模型。默认情况下，DJL Serving 会根据可用的硬件（例如 CPU 核心或 GPU 设备）确定模型可以支持的最大工作线程数。您可以为每个模型设置下限和上限，以确保始终可以提供最低流量水平，并且单个模型不会占用全部可用资源。您可在 serving.properties 文件中设置以下属性：

有关如何使用 DJL 服务容器在 SageMaker AI 上部署多模型端点的示例，请参阅 end-to-end示例笔记本 multi-model-inference-demo.ipynb。