执行机器学习推理 - AWS IoT Greengrass
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

执行机器学习推理

此功能适用于 AWS IoT Greengrass 核心 v。1.6 or later.

借助 AWS IoT Greengrass,您可以使用云训练模型对本地生成的数据在边缘站点执行机器学习 (ML) 推理。您可以从运行本地推理的低延迟和成本节省中受益,且仍然可以利用云计算在训练模型和复杂处理方面的强大功能。

要开始执行本地推理,请参阅如何使用 AWS 管理控制台配置机器学习推理.

如何 AWS IoT Greengrass ML推论工作

您可以在任何地方培训推论模型,在本地部署这些模式 机器学习资源 在格林草群中,然后从格林草地进入 Lambda 功能。例如,您可以在 SageMaker 并将其部署到您的GreengrassCore中。然后,您的 Lambda 函数可以在连接的设备上使用本地模型来执行推理并将新训练数据发送回云中。

下图显示了 AWS IoT Greengrass ML 推理工作流。


        机器学习工作流以及核心设备、AWS IoT Greengrass 服务和云训练模型之间的信息流的组件。

AWS IoT Greengrass ML 推理简化了 ML 工作流的每个步骤,包括:

  • 构建和部署机器学习框架原型。

  • 访问云训练的模型并将其部署到 Greengrass 核心设备。

  • 创建可以访问硬件加速器(如GPUS和FPGA)的推论应用程序 本地资源.

机器学习资源

机器学习资源表示部署到 的云训练推理模型。AWS IoT Greengrass Core. 要部署机器学习资源,首先请将资源添加到 Greengrass 组,然后定义组中的 Lambda 函数如何才能访问它们。在组部署期间, AWS IoT Greengrass 从云中检索源模型包并将其提取到 Lambda 运行时命名空间。然后,Greengrass Lambda 函数会使用本地部署的模型来执行推理。

要更新本地部署的模型,首先请更新与机器学习资源对应的源模型 (在云中),然后部署组。部署期间,AWS IoT Greengrass 会检查更改的来源。如果检测到更改,则 AWS IoT Greengrass 会更新本地模型。

支持的模型源

AWS IoT Greengrass 支持 SageMaker 和 Amazon S3 机器学习资源的模型来源。

以下要求适用于模型源:

  • S3存储您的 SageMaker 和 Amazon S3 模型源不得使用SSE-C加密。对于使用服务器端加密的存储区, AWS IoT Greengrass ML推论目前仅支持SSE-S3或SSE-KMS加密选项。有关服务器端加密选项的详细信息,请参阅 使用服务器端加密保护数据Amazon Simple Storage Service 开发人员指南.

  • 存储您的S3存储桶的名称 SageMaker 和 Amazon S3 模型来源不得包括期间(.)。有关详细信息,请参阅有关使用虚拟托管式存储桶的规则,请参阅 桶命名规则Amazon Simple Storage Service 开发人员指南.

  • 必须提供服务级别的AWS区域支持 AWS IoT GreengrassSageMaker. 目前, AWS IoT Greengrass 支持 SageMaker 以下地区的模型:

    • 美国东部(俄亥俄州)

    • 美国东部(弗吉尼亚北部)

    • 美国西部(俄勒冈)

    • 亚太地区(孟买)

    • 亚太区域(首尔)

    • 亚太区域(新加坡)

    • 亚太区域(悉尼)

    • 亚太区域(东京)

    • 欧洲(法兰克福)

    • 欧洲(爱尔兰)

    • 欧洲(伦敦)

  • AWS IoT Greengrass 必须具有对模型源的 read 权限,如以下部分中所述。

SageMaker

AWS IoT Greengrass 支持保存为 SageMaker 培训职位。 SageMaker 是一种完全管理的ML服务,您可以使用内置或自定义算法构建和培训模型。有关详细信息,请参阅 什么是 SageMaker?SageMaker 开发人员指南.

如果您配置 SageMaker 环境 创建一个桶 其名称包含 sagemaker,然后 AWS IoT Greengrass 有足够的权限访问您的 SageMaker 培训职位。TheThethe AWSGreengrassResourceAccessRolePolicy 管理的策略允许访问名称包含字符串的存储区 sagemaker...本政策附于 Greengrass服务角色.

否则,您必须授予 AWS IoT Greengrass read 对您的培训工作存储的桶的权限。为此,请在服务角色中嵌入以下内联策略。您可以列出多个存储桶 ARN。

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws-cn:s3:::my-bucket-name" ] } ] }
Amazon S3

AWS IoT Greengrass 支持存储在 Amazon S3 AS tar.gz.zip 文件。

启用 AWS IoT Greengrass 要访问存储在 Amazon S3 存储桶,您必须授予 AWS IoT Greengrass read 通过执行操作访问数据栏的权限 一个 以下内容:

  • 将您的模型存储在名称包含 的存储桶中。greengrass.

    TheThethe AWSGreengrassResourceAccessRolePolicy 管理的策略允许访问名称包含字符串的存储区 greengrass...本政策附于 Greengrass服务角色.

     

  • 在 Greengrass 服务角色中嵌入一个内联策略。

    如果您的存储桶名称不包含 greengrass,请将以下内联策略添加到服务角色。您可以列出多个存储桶 ARN。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws-cn:s3:::my-bucket-name" ] } ] }

    有关详细信息,请参阅 嵌入内联策略IAM 用户指南.

Requirements

以下要求适用于创建和使用机器学习资源:

  • 您必须使用 AWS IoT Greengrass 核心 v。1.6 or later.

  • 用户定义 Lambda 功能可以执行 readread and write 资源。其他操作的权限不可用。 附属 Lambda 函数的容器化模式决定如何设置访问权限。有关更多信息,请参阅 从 Lambda 函数访问机器学习资源.

  • 您必须提供核心设备的操作系统上的资源的完整路径。

  • 资源名称或 ID 的最大长度为 128 个字符,并且必须使用模式 [a-zA-Z0-9:_-]+.

用于 ML 推理的运行时和库

您可以将以下 ML 运行时和库与 结合使用。AWS IoT Greengrass.

这些运行时和库可以安装在 NVIDIA Jetson TX2、Intel Atom 和 Raspberry Pi 平台上。有关下载信息,请参阅支持的机器学习运行时和库. 您可以将它们直接安装到核心设备上。

请务必阅读以下有关兼容性和限制的信息。

SageMaker Neo 深度学习运行时

您可以使用 SageMaker Neo 深度学习运行时 在您的 AWS IoT Greengrass 设备。使用 SageMaker Neo 深度学习编译器对这些模型进行优化,以提高机器学习推理预测的速度。有关模型优化的更多信息,请参阅 SageMaker,请参阅 SageMaker NEO文档.

注意

目前,您只能在特定的 AWS 区域中使用 Neo 深度学习编译器 优化机器学习模型。但是,您可以使用 Neo 深度学习运行时 在所有AWS区域的优化型号 AWS IoT Greengrass Core 支持。有关信息,请参阅 如何配置优化机器学习推论.

MXNet 版本控制

Apache MXNet 目前不确保向前兼容性,因此您使用框架的较高版本训练的模型可能无法在框架的较低版本中正常工作。为了避免模型训练和模型服务阶段之间的冲突,以及为了提供一致的端到端体验,请在这两个阶段使用相同的 MXNet 框架版本。

Raspberry Pi 上的 MXNet

Greengrass Lambda访问本地 MXNet 模型的 函数必须设置以下环境变量:

MXNET_ENGINE_TYPE=NaiveEngine

您可以在函数代码中设置该环境变量,或者将其添加到函数的组特定的配置。如需将其添加为配置设置的示例,请参阅 步骤.

注意

对于 MXNet 框架的一般用途,如运行第三方代码示例,必须在 Raspberry Pi 上配置该环境变量。

对 Raspberry Pi 的 TensorFlow 模型服务限制

以下改进推理结果的建议基于我们在 Raspberry Pi 平台上使用 TensorFlow 32 位 Arm 库进行的测试。这些建议仅供高级用户参考,不包含任何类型的保证。

  • 使用 检查点 在服务之前,格式应为“冻结”方案缓冲区格式。如需示例,请参阅 TensorFlow-Slim图像分类模型库.

  • 请勿在训练或推理代码中使用 TF-Estimator 和 TF-Slim 库。而应使用以下示例中所示的 .pb 文件模型加载模式。

    graph = tf.Graph() graph_def = tf.GraphDef() graph_def.ParseFromString(pb_file.read()) with graph.as_default(): tf.import_graph_def(graph_def)
注意

有关TensorFlow支持平台的更多信息,请参阅 安装TensorFlow 在TensorFlow文件中。