SageMaker Edge Manager - Amazon SageMaker
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SageMaker Edge Manager

Amazon 为 边缘设备SageMaker Edge Manager提供模型管理,因此您可以在智能摄像头、机器人、个人计算机和移动设备等边缘设备队列中优化、保护、监控和维护机器学习模型。

为什么要使用 Edge Manager?

许多机器学习 (ML) 使用案例要求在边缘设备队列上运行 ML 模型,这使您能够实时获取预测,保留最终用户的隐私并降低网络连接成本。随着面向 ML 的低功耗边缘硬件的可用性不断提高,现在可以在边缘设备上运行多个复杂的神经网络模型。

但是,在边缘设备上运行 ML 模型是一个挑战,因为设备与云实例不同,其计算、内存和连接性有限。部署模型后,您需要持续监控模型,因为模型偏差可能导致模型质量的衰减超时。跨设备队列监控模型非常困难,因为您需要编写自定义代码以从设备中收集数据样本并识别预测中的偏斜。此外,模型通常硬编码到应用程序中。要更新模型,您必须重建并更新整个应用程序或设备固件,这可能会中断您的操作。

借助 SageMaker Edge Manager,您可以跨边缘设备队列优化、运行、监控和更新机器学习模型。

它的工作原理是什么?

概括来说SageMaker Edge Manager,工作流程主要有五个组件:使用 SageMaker Neo 编译模型、打包 Neo 编译模型、将模型部署到您的设备、在SageMaker推理引擎 (Edge Manager agent) 上运行模型以及在设备上维护模型。

SageMaker Edge Manager 使用 SageMaker Neo 通过一键式操作来优化目标硬件的模型,然后在部署前以加密方式对模型进行签名。使用 SageMaker Edge Manager,您可以对来自 边缘设备的模型输入和输出数据进行采样,并将其发送到云以进行监控和分析,并查看控制面板,该控制面板跟踪并直观地报告 SageMaker 控制台中已部署的模型的运行。

SageMaker Edge Manager 将以前仅在云中可用的功能扩展到边缘站点,以便开发人员可以使用 Amazon SageMaker 模型监控器 来检测偏差,然后使用 重新标记数据SageMakerGround Truth并在 中重新训练模型,从而持续提高模型质量SageMaker。

如何使用 SageMaker Manager?

如果您是首次接触 的用户SageMaker Edge Manager,我们建议您执行以下操作:

  1. 阅读入门部分 - 此部分将指导您完成设置您的第一个边缘打包作业并创建您的第一个队组。

  2. 探索 Edge Manager Jupyter 笔记本示例 - 示例笔记本存储在 sagemaker_edge_manager 文件夹的 amazon-sagemaker-examples GitHub 存储库中。