Amazon IoT Greengrass ML 推理的工作原理机器学习资源要求用于 ML 推理的运行时和库

执行机器学习推理

此功能适用于Amazon IoT Greengrass核心 v1.6 或更高版本。

借助 Amazon IoT Greengrass，您可以使用云训练模型对本地生成的数据在边缘站点执行机器学习 (ML) 推理。您可以从运行本地推理的低延迟和成本节省中受益，且仍然可以利用云计算在训练模型和复杂处理方面的强大功能。

要开始执行本地推理，请参阅如何使用 Amazon Web Services Management Console配置机器学习推理。

Amazon IoT Greengrass ML 推理的工作原理

您可以在任何位置训练您的推理模型，在本地部署为机器学习资源在 Greengrass 组中，然后从 Greengrass Lambda 函数访问它们。例如，您可以在中构建并训练深度学习模型。SageMaker然后将它们部署到你的 Greengrass 核心。然后，您的 Lambda 函数可以在连接的设备上使用本地模型来执行推理并将新训练数据发送回云中。

下图显示了 Amazon IoT Greengrass ML 推理工作流。

机器学习工作流的组成部分以及核心设备之间的信息流，Amazon IoT Greengrass服务以及云训练模型。

Amazon IoT Greengrass ML 推理简化了 ML 工作流的每个步骤，包括：

构建和部署机器学习框架原型。
访问云训练的模型并将其部署到 Greengrass 核心设备。
创建可以将硬件加速器 (如 GPU 和 FPGA) 作为本地资源访问的推理应用程序。

机器学习资源

机器学习资源表示部署到云训练推理模型Amazon IoT Greengrass核心。要部署机器学习资源，请首先将资源添加到 Greengrass 组，然后定义组中的 Lambda 函数如何才能访问它们。在组部署期间，Amazon IoT Greengrass从云中检索源模型包，然后将它们提取到 Lambda 运行时命名空间内的目录。然后，Greengrass Lambda 函数会使用本地部署的模型来执行推理。

要更新本地部署的模型，首先请更新与机器学习资源对应的源模型 (在云中)，然后部署组。部署期间，Amazon IoT Greengrass 会检查更改的来源。如果检测到更改，则 Amazon IoT Greengrass 会更新本地模型。

支持的模型源

Amazon IoT Greengrass支持 SageMaker 以及机器学习资源的 Amazon S3 模型源。

以下要求适用于模型源：

存储您的 S3 存储桶 SageMaker Amazon S3 模型源不得使用 SSE-C 加密。对于使用服务器端加密的存储桶，Amazon IoT Greengrass目前，ML 推理仅支持 SSE-S3 或 SSE-KMS 加密选项。有关服务器端加密选项的更多信息，请参阅使用服务器端加密保护数据中的Amazon Simple Storage Service 用户指南.
存储您的 S3 存储桶的名称 SageMaker 并且 Amazon S3 模型源不得包含期限（.)。有关更多信息，请参阅中有关通过 SSL 使用虚拟托管式存储桶的规则。存储桶命名规则中的Amazon Simple Storage Service 用户指南.
服务级别Amazon Web Services 区域必须为这两个版本提供支持Amazon IoT Greengrass和SageMaker. 目前，Amazon IoT Greengrass支持 SageMaker 以下区域中的模型：
- 美国东部（俄亥俄）
- 美国东部（弗吉尼亚北部）
- 美国西部（俄勒冈）
- Asia Pacific (Mumbai)
- 亚太地区（首尔）
- 亚太地区（新加坡）
- 亚太地区（悉尼）
- 亚太地区（东京）
- 欧洲（法兰克福）
- 欧洲（爱尔兰）
- 欧洲（伦敦）
Amazon IoT Greengrass 必须具有对模型源的 read 权限，如以下部分中所述。

SageMaker

Amazon IoT Greengrass支持另存为的模型 SageMaker 训练作业。 SageMaker 是一项完全托管的 ML 服务，可用于使用内置或自定义算法构建和训练模型。有关更多信息，请参阅。什么是 SageMaker？中的开 SageMaker 员指南.

如果你配置了 SageMaker 通过的环境创建存储桶谁的名字包含sagemaker，那么Amazon IoT Greengrass有足够的权限来访问您的 SageMaker 训练作业。AWSGreengrassResourceAccessRolePolicy 托管策略允许访问名称包含字符串 sagemaker 的存储桶。此策略将附加到 Greengrass 服务角色。

否则，您必须为 Amazon IoT Greengrass 授予对存储您的训练作业的存储桶的 read 权限。为此，请在服务角色中嵌入以下内联策略。您可以列出多个存储桶 ARN。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket-name"
            ]
        }
    ]
}

Amazon S3

Amazon IoT Greengrass支持以下形式存储在 Amazon S3 中的模型。tar.gz要么.zip文件。

启用Amazon IoT Greengrass要访问 Amazon S3 存储桶中存储在的模型，您必须授予Amazon IoT Greengrass read通过执行权限以访问存储桶一以下权限：

将您的模型存储在名称包含 greengrass 的存储桶中。

AWSGreengrassResourceAccessRolePolicy 托管策略允许访问名称包含字符串 greengrass 的存储桶。此策略将附加到 Greengrass 服务角色。

在 Greengrass 服务角色中嵌入一个内联策略。

如果您的存储桶名称不包含 greengrass，请将以下内联策略添加到服务角色。您可以列出多个存储桶 ARN。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket-name"
            ]
        }
    ]
}

有关更多信息，请参阅。嵌入内联策略中的IAM 用户指南.

要求

以下要求适用于创建和使用机器学习资源：

您必须使用Amazon IoT Greengrass核心 v1.6 或更高版本。
用户定义的 Lambda 函数可执行read要么read and write对资源的操作。针对其他操作的权限不可用。附属 Lambda 函数的容器化模式决定如何设置访问权限。有关更多信息，请参阅从 Lambda 函数访问机器学习资源。
您必须提供核心设备的操作系统上的资源的完整路径。
资源名称或 ID 的最大长度为 128 个字符，并且必须使用模式 [a-zA-Z0-9:_-]+。

用于 ML 推理的运行时和库

您可以将以下 ML 运行时和库与 Amazon IoT Greengrass 结合使用。

亚马逊 SageMaker Neo 深度学习运行时
Apache MXNet
TensorFlow

这些运行时和库可以安装在 NVIDIA Jetson TX2、Intel Atom 和 Raspberry Pi 平台上。有关下载信息，请参阅支持的机器学习运行时和库。您可以将它们直接安装到核心设备上。

请务必阅读以下有关兼容性和限制的信息。

SageMaker Neo 深度学习运行时

您可以使用 SageMaker Neo 深度学习运行时，通过优化的机器学习模型来执行推理Amazon IoT Greengrass设备。使用对这些模型进行优化。 SageMaker Neo 深度学习编译器，以提高机器学习推理预测的速度。有关 SageMaker 中的模型优化的更多信息，请参阅SageMaker Neo 文档.

注意

目前，您只能在特定 Amazon Web Services 区域中使用 Neo 深度学习编译器来优化机器学习模型。但是，您可以在每个运行时中对优化模型使用 Neo 深度学习运行时Amazon Web Services 区域哪里Amazon IoT Greengrass支持核心。有关信息，请参阅如何配置优化的机器学习推理

MXNet 版本控制

Apache MXNet 目前不确保向前兼容性，因此您使用框架的较高版本训练的模型可能无法在框架的较低版本中正常工作。为了避免模型训练和模型服务阶段之间的冲突，以及提供一致的 end-to-end 经验，在两个阶段都使用相同的 MXNet 框架版本。

Raspberry Pi 上的 MXNet

访问本地 MXNet 模型的 Greengrass Lambda 函数必须设置以下环境变量：


MXNET_ENGINE_TYPE=NativeEngine

您可以在函数代码中设置该环境变量，或者将其添加到函数的组特定的配置。对于将该环境变量添加为配置设置的示例，请参阅此步骤。

注意

对于 MXNet 框架的一般用途，如运行第三方代码示例，必须在 Raspberry Pi 上配置该环境变量。

对 Raspberry Pi 的 TensorFlow 模型服务限制

以下改进推理结果的建议基于我们在 TensorFlow Raspberry Pi 平台上的 32 位 Arm 库。这些建议仅供高级用户参考，不包含任何类型的保证。

使用检查点格式训练的模型在服务之前应被“冻结”为协议缓冲格式。有关示例，请参阅 TensorFlow-Slim 图像分类模型库。

请勿在训练或推理代码中使用 TF-Estimator 和 TF-Slim 库。而应使用以下示例中所示的 .pb 文件模型加载模式。


graph = tf.Graph() 
graph_def = tf.GraphDef()
graph_def.ParseFromString(pb_file.read()) 
with graph.as_default():
  tf.import_graph_def(graph_def)

注意

有关 TensorFlow 的支持平台的更多信息，请参阅安装 TensorFlow中的 TensorFlow 文档中）。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

使用控制台

访问机器学习资源