本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Edge Manager 在边 SageMaker 缘部署模型
警告
SageMaker Edge Manager 将于 2024 年 4 月 26 日停产。有关继续将模型部署到边缘设备的更多信息,请参阅SageMaker Edge Manager 的生命周期。
Amazon SageMaker Edge Manager 为边缘设备提供模型管理,因此您可以优化、保护、监控和维护智能相机、机器人、个人电脑和移动设备等边缘设备队列上的机器学习模型。
为什么使用 Edge Manager?
许多机器学习 (ML) 使用案例都需要在边缘设备队列上运行 ML 模型,这样您就可以实时获得预测,保护最终用户的隐私,并降低网络连接成本。随着专为 ML 设计的低功耗边缘硬件的可用性不断增加,现在可以在边缘设备上运行多个复杂的神经网络模型。
但是,在边缘设备上运行 ML 模型具有挑战性,因为这些设备与云实例不同,它们的计算、内存和连接能力都有限。部署模型后,您需要持续监控模型,因为模型偏差可能会导致模型的质量随时间衰减。监控设备队列中的模型很困难,因为您需要编写自定义代码,才能从设备中收集数据样本并识别预测中的偏差。此外,模型通常被硬编码到应用程序中。要更新模型,必须重建和更新整个应用程序或设备固件,这可能会中断您的操作。
借 SageMaker 助 Edge Manager,您可以优化、运行、监控和更新边缘设备群中的机器学习模型。
如何工作?
简而言之,E SageMaker dge Manager 工作流程中有五个主要组件:使用 SageMaker Neo 编译模型、打包 NEO 编译的模型、将模型部署到您的设备、在 SageMaker 推理引擎(Edge Manager 代理)上运行模型以及在设备上维护模型。
SageMaker Edge Manager 使用 SageMaker Neo 只需单击一下即可针对目标硬件优化您的模型,然后在部署之前对模型进行加密签名。使用 SageMaker Edge Manager,您可以对来自边缘设备的模型输入和输出数据进行采样并将其发送到云端进行监控和分析,还可以查看 SageMaker 控制台中跟踪和直观报告已部署模型运行情况的仪表板。
SageMaker Edge Manager 将以前只能在云端提供的功能扩展到边缘,因此开发人员可以通过使用 Amazon SageMaker 模型监视器进行漂移检测,然后使用 G SageMaker round Truth 重新标记数据并在其中重新训练模型,从而持续提高模型质量。 SageMaker
如何使用 SageMaker 边缘管理器?
如果您是首次使用 SageMaker Edge Manager,我们建议您执行以下操作:
阅读入门部分 – 本部分将引导您完成设置第一个边缘打包作业和创建第一个队列的过程。
-
探索 Edge Manager Jupyter 笔记本示例——示例笔记本存储在存储amazon-sagemaker-examples
GitHub 库中的 s agemaker_edge_manager 文件夹中。