本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用部署编译后的模型 Amazon CLI
如果模型是使用 Amazon SDK for Python (Boto3)、或 Amazon SageMaker 控制台编译的 Amazon CLI,则必须满足先决条件部分。按照以下步骤使用创建和部署 SageMaker Neo 编译模型。Amazon CLI
主题
部署模型
满足先决条件后,使用create-model
create-enpoint-config
、和create-endpoint
Amazon CLI
命令。以下步骤说明如何使用这些命令部署使用 Neo 编译的模型:
创建模型
从 Neo 推理容器镜像中,选择推理图像,URI然后使用create-model
API来创建 SageMaker 模型。为此,请完成两个步骤:
-
创建
create_model.json
文件。在文件中,指定模型名称、图像URI、Amazon S3 存储桶中model.tar.gz
文件的路径以及您的 SageMaker执行角色:{ "ModelName":
"insert model name"
, "PrimaryContainer": { "Image":"insert the ECR Image URI"
, "ModelDataUrl":"insert S3 archive URL"
, "Environment": {"See details below"
} }, "ExecutionRoleArn":"ARN for AmazonSageMaker-ExecutionRole"
}如果您使用训练模型 SageMaker,请指定以下环境变量:
"Environment": { "SAGEMAKER_SUBMIT_DIRECTORY" :
"[Full S3 path for *.tar.gz file containing the training script]"
}如果您没有使用训练模型 SageMaker,请指定以下环境变量:
注意
必须为
AmazonSageMaker-ExecutionRole
IAM角色附加AmazonSageMakerFullAccess
和AmazonS3ReadOnlyAccess
策略。 -
运行以下命令:
aws sagemaker create-model --cli-input-json file://create_model.json
有关完整语法
create-model
API,请参阅create-model
。
创建端点配置
创建 SageMaker 模型后,使用创建端点配置create-endpoint-config
API。为此,请使用您的端点配置规范创建一个JSON文件。例如,可使用以下代码模板并将其另存为 create_config.json
:
{ "EndpointConfigName":
"<provide your endpoint config name>"
, "ProductionVariants": [ { "VariantName":"<provide your variant name>"
, "ModelName": "my-sagemaker-model", "InitialInstanceCount": 1, "InstanceType":"<provide your instance type here>"
, "InitialVariantWeight": 1.0 } ] }
现在运行以下 Amazon CLI 命令来创建您的终端节点配置:
aws sagemaker create-endpoint-config --cli-input-json file://create_config.json
有关完整语法 create-endpoint-config
API,请参阅create-endpoint-config
。
创建端点
创建终端节点配置后,使用以下命令创建终端节点 create-endpoint
API:
aws sagemaker create-endpoint --endpoint-name
'<provide your endpoint name>'
--endpoint-config-name'<insert your endpoint config name>'
有关完整语法 create-endpoint
API,请参阅create-endpoint
。