部署编译的模型使用Amazon CLI - Amazon SageMaker
部署模型
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

部署编译的模型使用Amazon CLI

您必须满足先决条件部分，如果模型是使用Amazon SDK for Python (Boto3)、Amazon CLI或 Amazon SageMaker 控制台。按照以下步骤操作来创建和部署 SageMaker Neo 编译的模型。Amazon CLI.

部署模型

在您满意先决条件，请使用create-model、create-enpoint-config, 和create-endpoint Amazon CLI命令。以下步骤说明了如何使用这些命令来部署使用 Neo 编译的模型：

创建模型

从Neo 推理容器图像，选择推理图像 URI，然后使用create-modelAPI 来创建一个 SageMaker 模型。您可以通过两个步骤执行此操作：

  1. 创建 create_model.json 文件。在文件中，指定模型的名称、图像 URI、model.tar.gz文件，Amazon S3 及 SageMaker 执行角色：

    {
    "ModelName": "insert model name",
    "PrimaryContainer": {
        "Image": "insert the ECR Image URI",
        "ModelDataUrl": "insert S3 archive URL",
        "Environment": {"See details below"}
    },
    "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
}

    如果使用 SageMaker 训练模型，请指定以下环境变量：

    "Environment": {
    "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
}

    如果未使用 SageMaker 训练模型，请指定以下环境变量：

    MXNet and PyTorch
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}
    TensorFlow
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}
    注意

    这些区域有：AmazonSageMakerFullAccess和AmazonS3ReadOnlyAccess策略必须附加到AmazonSageMaker-ExecutionRoleIAM 角色。

  2. 运行以下 命令：

    aws sagemaker create-model --cli-input-json file://create_model.json

    有关 create-model API 的完整语法，请参阅 create-model。

创建终端节点配置

创建 SageMaker 模型后，使用create-endpoint-configAPI。为此，请使用终端配置规范创建 JSON 文件。例如，您可以使用以下代码模板并将其另存为create_config.json：

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

现在，请运行以下Amazon CLI命令创建端点配置：

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

有关 create-endpoint-config API 的完整语法，请参阅 create-endpoint-config。

创建终端节点

在您创建终端节点配置之后，可以使用create-endpointAPI：

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

有关 create-endpoint API 的完整语法，请参阅 create-endpoint。