部署模型 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

部署模型

您可以通过以下方式将计算模块部署到资源受限的边缘设备:从 Amazon S3 下载已编译的模型到您的设备,然后使用DLR,或者您可以使用AmazonIoT Greengrass.

继续前进之前,请确保您的边缘设备必须得到 SageMaker Neo 的支持。请参阅,支持的框架、设备、系统和体系结构,了解支持哪些边缘设备。确保在提交编译作业时指定了目标边缘设备,请参阅使用 Neo 编译模型.

部署编译模型 (DLR)

DLR是深度学习模型和决策树模型的紧凑型通用运行时。DLR 使用TVM运行时,运行时,NVIDIA TensorRt™,并且可以包含其他特定于硬件的运行时。DLR 提供统一的 Python /C++ API,用于在各种设备上加载和运行编译的模型。

您可以使用以下 pip 命令安装最新版本的 DLR 软件包:

pip install dlr

有关在 GPU 目标或非 x86 边缘设备上安装 DLR 的信息,请参阅版本用于预构建的二进制文件,或安装 DLR从源代码构建 DLR。例如,要为树莓派安装 DLR 3,您可以使用:

pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl

部署模型 (AmazonIoT Greengrass)

AmazonIoT Greengrass将云功能扩展到本地设备中。它使得设备可以更靠近信息源来收集和分析数据,自主响应本地事件,同时在本地网络上彼此安全地通信。与AmazonIoT Greengrass,您可以使用云训练模型对本地生成的数据在边缘站点执行机器学习推理。目前,您可以将模型部署到所有Amazon基于 ARM Cortex-A、Intel Atom 和 Nvidia Jetson 系列处理器的 IoT Greengrass 设备。有关部署 Lambda 推理应用程序以执行机器学习推理的更多信息,请使用AmazonIoT Greengrass,参见如何使用 配置优化的机器学习推理Amazon管理控制台.