创建异步推理端点 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建异步推理端点

与使用 SageMaker 托管服务创建端点相同的方式创建异步终端节点:

  • 在 SageMaker 中创建一个模型CreateModel.

  • 创建端点配置CreateEndpointConfig.

  • 创建 HTTPS 终端节点CreateEndpoint.

要创建终端节点,首先需要使用CreateModel,您可以在其中指向模型工件和 Docker 注册表路径(图像)。然后,您可以使用CreateEndpointConfig在其中指定一个或多个模型,这些模型是使用CreateModel待部署 API,并标识您希望 SageMaker 预配置的资源。创建您的终端节点CreateEndpoint使用在请求中指定的终端节点配置。您可以使用UpdateEndpointAPI。从端点托管的模型发送和接收推断请求InvokeEndpointAsync. 您可以使用DeleteEndpointAPI。

有关可用 SageMaker 映像的完整列表,请参阅可用的 Deep Learning Containers 映像. 请参阅使用您自己的推理代码,了解有关如何创建 Docker 映像的信息。

创建模型

以下示例演示如何使用Amazon SDK for Python (Boto3). 前几行定义:

  • sagemaker_client:一个低级 SageMaker 客户端对象,可以轻松地将请求发送和接收到Amazon服务。

  • sagemaker_role:具有 SageMaker IAM 角色的字符串变量 (ARN)。

  • aws_region:一个字符串变量,其名称为Amazon区域。

import boto3 # Specify your AWS Region aws_region='<aws_region>' # Create a low-level SageMaker service client. sagemaker_client = boto3.client('sagemaker', region_name=aws_region) # Role to give SageMaker permission to access Amazon services. sagemaker_role= "arn:aws:iam::<account>:role/*"

接下来,指定存储在 Amazon S3 中的预先训练模型的位置。在此示例中,我们使用了预先训练的 XGBoost 模型demo-xgboost-model.tar.gz. 完整的 Amazon S3 URI 存储在字符串变量中model_url

#Create a variable w/ the model S3 URI s3_bucket = '<your-bucket-name>' # Provide the name of your S3 bucket bucket_prefix='saved_models' model_s3_key = f"{bucket_prefix}/demo-xgboost-model.tar.gz" #Specify S3 bucket w/ model model_url = f"s3://{s3_bucket}/{model_s3_key}"

指定主容器。对于主容器,您可以指定 Docker 映像,该映像包含推理代码、构件(来自先前的培训)以及在部署预测模型时,推理代码将使用此贴图。

在此示例中,我们指定了一个 XGBoost 内置算法容器图像:

from sagemaker.amazon.amazon_estimator import get_image_uri # Specify an AWS container image. container = get_image_uri(region=aws_region, framework='xgboost', version='0.90-1')

在 Amazon SageMaker 中创建模型CreateModel. 指定以下内容:

  • ModelName:模型的名称(在这个例子中,它存储为一个名为model_name)。

  • ExecutionRoleArn:IAM 角色的 Amazon 资源名称 (ARN),Amazon SageMaker 可代入此角色以访问用于 ML 计算实例上的部署或批量转换作业的模型项目和 Docker 映像。

  • PrimaryContainer:主要 Docker 映像的位置,该映像包含推理代码、关联项目和自定义环境贴图(在部署模型以进行预测时,推理代码将使用此贴图)。

model_name = '<The_name_of_the_model>' #Create model create_model_response = sagemaker_client.create_model( ModelName = model_name, ExecutionRoleArn = sagemaker_role, PrimaryContainer = { 'Image': container, 'ModelDataUrl': model_url, })

请参阅CreateModel描述 SageMaker 解 API 参数的完整列表。

创建终端节点配置

创建一个模型后,使用CreateEndpointConfig. Amazon SageMaker 托管服务使用此配置来部署模型。在配置中,您可以标识使用CreateModel,以部署您希望 Amazon SageMaker 预配置的资源。指定AsyncInferenceConfig对象,并提供OutputConfig. 您可以选择指定Amazon SNS主题,用于发送有关预测结果的通知。有关 Amazon SNS 主题的更多信息,请参阅配置 Amazon SNS 主题.

以下示例演示如何使用Amazon SDK for Python (Boto3):

import datetime from time import gmtime, strftime # Create an endpoint config name. Here we create one based on the date # so it we can search endpoints based on creation time. endpoint_config_name = f"XGBoostEndpointConfig-{strftime('%Y-%m-%d-%H-%M-%S', gmtime())}" # The name of the model that you want to host. This is the name that you specified when creating the model. model_name='<The_name_of_your_model>' create_endpoint_config_response = sagemaker_client.create_endpoint_config( EndpointConfigName=endpoint_config_name, # You will specify this name in a CreateEndpoint request. # List of ProductionVariant objects, one for each model that you want to host at this endpoint. ProductionVariants=[ { "VariantName": "variant1", # The name of the production variant. "ModelName": model_name, "InstanceType": "ml.m5.xlarge", # Specify the compute instance type. "InitialInstanceCount": 1 # Number of instances to launch initially. } ], AsyncInferenceConfig={ "OutputConfig": { # Location to upload response outputs when no location is provided in the request. "S3OutputPath": f"s3://{s3_bucket}/{bucket_prefix}/output" # (Optional) specify Amazon SNS topics "NotificationConfig": { "SuccessTopic": "arn:aws:sns:aws-region:account-id:topic-name", "ErrorTopic": "arn:aws:sns:aws-region:account-id:topic-name", } }, "ClientConfig": { # (Optional) Specify the max number of inflight invocations per instance # If no value is provided, Amazon SageMaker will choose an optimal value for you "MaxConcurrentInvocationsPerInstance": 4 } } ) print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

在上述示例中,您可以为OutputConfig(对于 )AsyncInferenceConfig字段:

  • S3OutputPath:请求中未提供位置时上传响应输出的位置。

  • NotificationConfig:(可选)在推断请求成功时向您发布通知的 SNS 主题(SuccessTopic)或者如果失败(ErrorTopic)。

您也可以指定以下可选参数ClientConfig中的AsyncInferenceConfig字段:

  • MaxConcurrentInvocationsPerInstance:(可选)SageMaker 客户端向模型容器发送的最大并发请求数。

创建终端节点

完成模型和端点配置后,请使用CreateEndpointAPI 来创建您的终端节点。终端节点名称在Amazon您的区域Amazonaccount.

以下内容使用在请求中指定的终端节点配置创建终端节点。Amazon SageMaker 使用终端节点来配置资源和部署模型。

# The name of the endpoint.The name must be unique within an AWS Region in your AWS account. endpoint_name = '<endpoint-name>' # The name of the endpoint configuration associated with this endpoint. endpoint_config_name='<endpoint-config-name>' create_endpoint_response = sagemaker_client.create_endpoint( EndpointName=endpoint_name, EndpointConfigName=endpoint_config_name)

当您调用CreateEndpointAPI 中,Amazon SageMaker 异步推理会发送测试通知,以检查您是否配置了 Amazon SNS 主题。这使 SageMaker 检查您是否拥有所需的权限。可以简单地忽略通知。测试通知具有以下形式:

{ "eventVersion":"1.0", "eventSource":"aws:sagemaker", "eventName":"TestNotification" }