从已部署的服务(Amazon SageMaker SDK)请求推断 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

从已部署的服务(Amazon SageMaker SDK)请求推断

使用以下代码示例,根据用于训练模型的框架,通过已部署的服务请求推理。不同框架的代码示例类似。主要区别在于 TensorFlow 要求application/json作为内容类型。

PyTorch 和 MxNet

如果您使用的是 PyTorch v1.4 或更高版本或 MXNet 1.7.0 或更高版本,并且拥有 SageMaker 亚马逊InService终端节点,则可以使用适用于 Python 的软件开发工具包进行推理请求。predictor SageMaker

注意

API 因适用于 Python 的 SageMaker 软件开发工具包版本而异:

以下代码示例演示了如何使用这些 API 发送映像以进行推理:

SageMaker Python SDK v1.x
from sagemaker.predictor import RealTimePredictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = RealTimePredictor(endpoint=endpoint, content_type='application/x-image') inference_response = predictor.predict(data=payload) print (inference_response)
SageMaker Python SDK v2.x
from sagemaker.predictor import Predictor endpoint = 'insert name of your endpoint here' # Read image into memory payload = None with open("image.jpg", 'rb') as f: payload = f.read() predictor = Predictor(endpoint) inference_response = predictor.predict(data=payload) print (inference_response)

TensorFlow

以下代码示例展示了如何使用 SageMaker Python SDK API 发送用于推理的图像:

from sagemaker.predictor import Predictor from PIL import Image import numpy as np import json endpoint = 'insert the name of your endpoint here' # Read image into memory image = Image.open(input_file) batch_size = 1 image = np.asarray(image.resize((224, 224))) image = image / 128 - 1 image = np.concatenate([image[np.newaxis, :, :]] * batch_size) body = json.dumps({"instances": image.tolist()}) predictor = Predictor(endpoint) inference_response = predictor.predict(data=body) print(inference_response)