第 3 步:在您的设备上进行推断 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

第 3 步:在您的设备上进行推断

在此示例中,您将使用 Boto3 将编译作业的输出下载到边缘设备上。然后,您将导入 DLR,从数据集下载示例图像,调整此图像的大小以匹配模型的原始输入,然后进行预测。

  1. 将您的编译模型从 Amazon S3 下载到您的设备,并从压缩的仓库文件中提取它。

    # Download compiled model locally to edge device object_path = f'output/{model_name}-{target_device}.tar.gz' neo_compiled_model = f'compiled-{model_name}.tar.gz' s3_client.download_file(bucket_name, object_path, neo_compiled_model) # Extract model from .tar.gz so DLR can use it !mkdir ./dlr_model # make a directory to store your model (optional) !tar -xzvf ./compiled-detect.tar.gz --directory ./dlr_model
  2. 导入 DLR 和初始化的DLRModel对象。

    import dlr device = 'cpu' model = dlr.DLRModel('./dlr_model', device)
  3. 下载用于推理的图像,并根据模型的训练方式对其进行格式化.

    对于coco_ssd_mobilenet示例中,您可以从COCO 数据集,然后将图像改造为300x300

    from PIL import Image # Download an image for model to make a prediction input_image_filename = './input_image.jpg' !curl https://farm9.staticflickr.com/8325/8077197378_79efb4805e_z.jpg --output {input_image_filename} # Format image so model can make predictions resized_image = image.resize((300, 300)) # Model is quantized, so convert the image to uint8 x = np.array(resized_image).astype('uint8')
  4. 使用 DLR 进行推断.

    最后,您可以使用 DLR 对刚下载的图像进行预测:

    out = model.run(x)

有关使用 DLR 从边缘设备上的新编译模型进行推断的更多示例,请参阅新 AI-DLR Github 存储库.