SageMaker 边缘管理器 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker 边缘管理器

Amazon SageMaker Edge Manager 为边缘设备提供模型管理,因此您可以优化、保护、监控和维护边缘设备(如智能摄像头、机器人、个人计算机和移动设备)上的机器学习模型。

为什么要使用边缘管理器?

许多机器学习 (ML) 用例都需要在一组边缘设备上运行 ML 模型,这样您就可以实时获得预测,保护最终用户的隐私,并降低网络连接成本。随着专为 ML 设计的低功耗边缘硬件的可用性不断增加,现在可以在边缘设备上运行多个复杂的神经网络模型。

但是,在边缘设备上运行 ML 模型是一项挑战,因为设备与云实例不同,计算、内存和连接性有限。部署模型后,需要持续监视模型,因为模型漂移会导致模型质量衰减加班时间。监控设备队列中的模型非常困难,因为您需要编写自定义代码来从设备收集数据样本并识别预测中的偏差。此外,模型通常被硬编码到应用程序中。要更新模型,您必须重建和更新整个应用程序或设备固件,这可能会中断您的操作。

借助 SageMaker Edge 管理器,您可以跨边缘设备队伍优化、运行、监控和更新机器学习模型。

如何工作?

在高层次上,SageMaker Edge 管理器工作流中有五个主要组件:使用 SageMaker Neo 编译模型,打包新编译的模型,将模型部署到您的设备,在 SageMaker 推理引擎上运行模型(边缘管理器代理),以及在设备上维护模型。

SageMaker 边缘管理器使用 SageMaker Neo 一键优化目标硬件的模型,然后在部署之前对模型进行加密签名。使用 SageMaker Edge Manager,您可以从边缘设备采样模型输入和输出数据,然后将其发送到云进行监控和分析,并查看用于跟踪和直观报告 SageMaker 控制台内部署模型运行情况的仪表板。

SageMaker Edge Manager 将以前仅在云中提供的功能扩展到边缘,因此开发人员可以通过使用 Amazon SageMaker 模型监视器进行漂移检测来持续提高模型质量,然后使用 SageMaker Ground Truth 重新标记数据并在 SageMaker 中重新训练模型。

如何使用 SageMaker Edge 管理器?

如果您是首次接触 SageMaker Edge 管理器的用户,我们建议您执行以下操作:

  1. 阅读开始使用部分-此部分引导您完成第一个边缘包装作业的设置和创建您的第一个队列。

  2. 了解边缘管理器 Jupyter 笔记本示例-笔记本电脑示例存储在亚马逊制造商的例子GitHub 存储库中的策略者边缘管理器folder。