使用 SageMaker Edge Manager 在边缘部署模型
警告
SageMaker Edge Manager 将于 2024 年 4 月 26 日停用。有关继续将模型部署到边缘设备的更多信息，请参阅SageMaker Edge Manager 终止使用。
Amazon SageMaker Edge Manager 为边缘设备提供模型管理，便于您在智能相机、机器人、个人计算机和移动设备等边缘设备队列上优化、保护、监控和维护机器学习模型。
为什么使用 Edge Manager？
许多机器学习 (ML) 使用案例都需要在边缘设备队列上运行 ML 模型，这样您就可以实时获得预测，保护最终用户的隐私，并降低网络连接成本。随着专为 ML 设计的低功耗边缘硬件的可用性不断增加，现在可以在边缘设备上运行多个复杂的神经网络模型。
但是，在边缘设备上运行 ML 模型具有挑战性，因为这些设备与云实例不同，它们的计算、内存和连接能力都有限。部署模型后，您需要持续监控模型，因为模型偏差可能会导致模型的质量随时间衰减。监控设备队列中的模型很困难，因为您需要编写自定义代码，才能从设备中收集数据样本并识别预测中的偏差。此外，模型通常被硬编码到应用程序中。要更新模型，必须重建和更新整个应用程序或设备固件，这可能会中断您的操作。
借助 SageMaker Edge Manager，您可以跨边缘设备队列优化、运行、监控和更新机器学习模型。
如何工作？
总的来说，SageMaker Edge Manager 工作流包含五个主要组成部分：使用 SageMaker Neo 编译模型、打包 Neo 编译的模型、将模型部署到设备、在 SageMaker Inference 引擎（Edge Manager 代理）上运行模型以及在设备上维护模型。
SageMaker Edge Manager 使用 SageMaker Neo 来对目标硬件优化模型（只需单击一下即可），然后在部署之前对模型进行加密签名。使用 SageMaker Edge Manager，您可以对边缘设备的模型输入和输出数据进行采样，然后将其发送到云进行监控和分析，还可以在 SageMaker 控制台中查看用于跟踪和直观报告已部署模型运行情况的控制面板。
SageMaker Edge Manager 将以前只能在云中提供的功能扩展到边缘，因此开发人员可以通过使用 Amazon SageMaker 模型监控器进行偏移检测来持续提高模型质量，然后使用 SageMaker Ground Truth 重新标记数据并在 SageMaker 中重新训练模型。
如何使用 SageMaker Edge Manager？
如果您是首次接触 SageMaker Edge Manager 的用户，我们建议您执行以下操作：
阅读入门部分 – 本部分将引导您完成设置第一个边缘打包作业和创建第一个队列的过程。
-
探索 Edge Manager Jupyter 笔记本示例 – 示例笔记本存储在 sagemaker_edge_manager
文件夹内的 amazon-sagemaker-examples GitHub 存储库中。