使用在边缘部署模型 SageMaker Edge 管理器 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用在边缘部署模型 SageMaker Edge 管理器

亚马逊 SageMaker Edge Manager 为边缘设备提供模型管理,因此您可以在智能相机、机器人、个人计算机和移动设备等边缘设备队列上优化、保护、监控和维护机器学习模型。

为什么使用边缘管理器?

许多机器学习 (ML) 用例都需要在边缘设备队列上运行机器学习模型,这样您就可以实时获得预测,保护最终用户的隐私,并降低网络连接成本。随着专为机器学习设计的低功耗边缘硬件的可用性不断增加,现在可以在边缘设备上运行多个复杂的神经网络模型。

但是,在边缘设备上运行 ML 模型具有挑战性,因为设备与云实例不同,计算、内存和连接都有限。部署模型后,您需要持续监控模型,因为模型漂移可能会导致模型的质量随时衰减。监控设备队列中的模型很困难,因为您需要编写自定义代码才能从设备中收集数据样本并识别预测中的偏差。此外,模型通常被硬编码到应用程序中。要更新模型,必须重建和更新整个应用程序或设备固件,这可能会中断您的操作。

与 SageMaker 边缘管理器,您可以跨边缘设备群优化、运行、监控和更新机器学习模型。

如何工作?

从较高的层面上说,有五个主要组件 SageMaker Edge Manager 工作流程:使用编译模型 SageMaker Neo,打包新编译模型,将模型部署到设备上,在 SageMaker 推理引擎(边缘管理器代理),以及在设备上维护模型。

SageMaker 边缘管理器使用 SageMaker Neo 只需单击一下即可针对目标硬件优化模型,然后在部署之前对模型进行加密签名。使用 SageMaker Edge Manager,您可以对边缘设备中的模型输入和输出数据进行采样,然后将其发送到云进行监控和分析,还可以查看一个仪表板,该仪表板可跟踪和直观报告在 SageMaker 控制台。

SageMaker Edge Manager 将以前只能在云中提供的功能扩展到边缘,因此开发人员可以使用亚马逊不断提高模型质量 SageMaker 模型监视器用于漂移检测,然后使用重新标记数据 SageMaker 在 SageMaker 中重新训练模型。

如何使用 SageMaker Edge Manager?

如果您是首次接触的用户 SageMaker Edge Manager,建议执行以下操作:

  1. 阅读开始使用部分-此部分引导您完成设置第一个边缘包装作业和创建第一个队组的过程。

  2. 探索边缘管理器 Jupyter 笔记本示例-例如笔记本存储在亚马逊 sagemaker 示例 GitHub 中的存储库sagemaker_edge_managerfolder。