部署模型
您可以通过以下方式将计算模块部署到资源受限的边缘设备上:将编译后的模型从 Amazon S3 下载到设备并使用 DLR
在继续操作之前,请确保您的边缘设备一定受 SageMaker Neo 支持。请参阅支持的框架、设备、系统和架构,以了解支持哪些边缘设备。确保您在提交编译作业时指定了目标边缘设备,请参阅使用 Neo 编译模型。
部署编译的模型 (DLR)
DLR
您可以使用以下 pip 命令安装最新版本的 DLR 软件包:
pip install dlr
要在 GPU 目标或非 x86 边缘设备上安装 DLR,请参阅版本
pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl
部署模型 (Amazon IoT Greengrass)
Amazon IoT Greengrass 将云功能扩展到本地设备。它使得设备可以更靠近信息源来收集和分析数据,自主响应本地事件,同时在本地网络上彼此安全地通信。借助 Amazon IoT Greengrass,您可以使用云训练的模型,在边缘设备上根据本地生成的数据执行机器学习推理。目前,您可以将模型部署到基于 ARM Cortex-A、Intel Atom 和 Nvidia Jetson 系列处理器的所有 Amazon IoT Greengrass 设备上。有关部署 Lambda 推理应用程序以通过 Amazon IoT Greengrass 执行机器学习推理的更多信息,请参阅如何使用 Amazon 管理控制台配置优化的机器学习推理。