使用 控制台部署已编译的模型 - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 控制台部署已编译的模型

如果已使用 、 或 控制台编译模型适用于 Python (Boto3) 的 AWS 软件开发工具包,则必须满足AWS CLI先决条件Amazon SageMaker部分。按照以下步骤,使用 SageMakerAmazon SageMaker 控制台创建和部署 Neo 编译的模型。

主题

部署模型

在满足先决条件后,请使用以下步骤部署使用 Neo 编译的模型:

  1. 选择 Models (模型),然后选择 Create models from the Inference group (从推理组中创建模型)。在 Create model (创建模型) 页面上,根据需要填写 Model name (模型名称)、IAM role (IAM 角色) 和 VPC 字段(可选)。

    
                            创建 Neo 模型以进行推理
  2. 要添加有关用于部署模型的容器的信息,请选择 Add container container (添加容器容器),然后选择 Next (下一步)。填写 Container input options (容器输入选项)、Location of inference code image (推理代码映像的位置) 和 Location of model artifacts (模型构件的位置),以及可选的 Container host name (容器主机名) 和 Environmental variables (环境变量) 字段。

    
                            创建 Neo 模型以进行推理
  3. 要部署 Neo 编译的模型,请选择以下内容:

    • Container input options (容器输入选项):选择 Provide model artifacts and inference image (提供模型构件和推理映像)。

    • Location of inference code image (推理代码映像的位置):从 Neo Inference Container Images (Neo 推理容器映像) 中选择推理映像 URI,具体取决于 AWS 区域和应用程序类型。

    • Location of model artifact (模型构件的位置):输入 Neo 编译 API 生成的已编译模型构件的Amazon S3存储桶 URI。

    • 环境变量

      • 对于 SageMaker XGBoost将此字段留空。

      • 如果您使用 训练了模型SageMaker,请将 环境变量指定为包含训练脚本的SAGEMAKER_SUBMIT_DIRECTORYAmazon S3存储桶 URI。

      • 如果您未使用 训练模型SageMaker,请指定以下环境变量:

        密钥 MXNet 和 PyTorch的值 值 TensorFlow
        SAGEMAKER_PROGRAM inference.py inference.py
        SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/model/code /opt/ml/model/code
        SAGEMAKER_CONTAINER_LOG_LEVEL 20 20
        SAGEMAKER_REGION <your region> <your region>
        MMS_DEFAULT_RESPONSE_TIMEOUT 500 对于 TF,将此字段留空
  4. 确认容器的信息准确无误,然后选择 Create model (创建模型)。在 Create model (创建模型) 登录页面上,选择 Create endpoint (创建终端节点)。

    
                            创建模型登录页面
  5. Create and configure endpoint (创建和配置终端节点) 图表中,指定 Endpoint name (终端节点名称)。对于 Attach endpoint configuration (附加终端节点配置),选择 Create a new endpoint configuration (创建新的终端节点配置)。

    
                            Neo 控制台创建和配置终端节点 UI。
  6. New endpoint configuration (新建终端节点配置) 页面中,指定 Endpoint configuration name (终端节点配置名称)

    
                            Neo 控制台新的终端节点配置 UI。
  7. 选择模型名称旁边的 Edit (编辑),然后在 Edit Production Variant (编辑生产变体) 页面上指定正确的 Instance type (实例类型)。Instance type (实例类型) 值必须与在编译作业中指定的值匹配。

    
                            Neo 控制台新的终端节点配置 UI。
  8. 选择 Save

  9. New endpoint configuration (新建终端节点配置) 页面上,选择 Create endpoint configuration (创建终端节点配置),然后选择 Create endpoint (创建终端节点)。