如何使用 Amazon Web Services Management Console配置优化的机器学习推理

安装 Raspbian 的更新。

sudo apt-get update
sudo apt-get dist-upgrade

安装适用于摄像机模块的 picamera 接口以及本教程所需的其他 Python 库。

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

验证安装：

重启 Raspberry Pi。

sudo reboot

打开 Raspberry Pi 配置工具。

sudo raspi-config

使用箭头键打开接口选项并启用摄像机接口。如果出现提示，请允许设备重新启动。

使用以下命令测试摄像机设置。

raspistill -v -o test.jpg

这将在 Raspberry Pi 上打开一个预览窗口，将名为 test.jpg 的图片保存到您的当前目录，并在 Raspberry Pi 终端中显示有关摄像机的信息。

远程登录您的 Raspberry Pi。

ssh pi@your-device-ip-address

打开 DLR 文档，打开安装 DLR，然后找到 Raspberry Pi 设备的 wheel URL。然后，按照说明执行操作，在您的设备上安装 DLR。例如，您可以使用 pip：

pip3 install rasp3b-wheel-url

安装 DLR 后，请验证以下配置：

在您的计算机上，从机器学习示例下载 Raspberry Pi 的 DLR 示例。

不要解压下载的 dlr-py3-armv7l.tar.gz 文件。

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

提取的示例程序包中的 examples 目录包含函数代码和依赖项。

将 examples 目录的内容压缩到一个名为 optimizedImageClassification.zip 的文件中。这就是您的部署程序包。

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

部署程序包包含您的函数代码和依赖项。这包括调用 Neo 深度学习运行时 Python API 以使用 Neo 深度学习编译器模型进行推理的代码。

现在，将 Lambda 函数添加到 Greengrass 组。

在 Lambda 控制台页面中，选择函数然后选择创建函数.

选择从头开始创作并使用以下值创建您的函数：

适用于Permissions (权限)，请保留默认设置。这将创建一个授予基本 Lambda 权限的执行角色。此角色未由使用Amazon IoT Greengrass.

选择 Create function（创建函数）。

在存储库的代码选项卡，位于源代码，选择从以下项上传. 从下拉列表中，选择。...zip 文件.

选择您的optimizedImageClassification.zip部署包，然后选择Save（保存）.

在存储库的代码函数的选项卡，位于运行时设置，选择编辑，然后输入以下值。

选择Save（保存）。

在 Actions 菜单上，选择 Publish new version。

对于 Version description (版本描述)，输入 First version，然后选择 Publish (发布)。

在存储库的optimizedImageClassification：1配置页面，来自操作菜单中，选择创建别名.

在创建新别名页面上，使用以下值：

选择Create（创建）。

现在，将 Lambda 函数添加到 Greengrass 组。

在Amazon IoT控制台导航窗格，下Manage，展开Greengrass 设备，然后选择。组 (V1).

在组配置页面上，选择Lambda 函数选项卡，然后选择Add.

选择Lambda 函数并选择optimizedImageClassification.

在存储库的Lambda 函数版本中，选择您发布的版本的别名。

在Lambda 函数配置部分，进行以下更新。

1. 要在没有容器化的情况下运行：

   • 适用于系统用户和组，选择Another user ID/group ID. 适用于系统用户 ID，输入。0. 适用于系统组 ID，输入。0.

     这允许 Lambda 函数以根用户身份运行。有关以 root 用户身份运行的更多信息，请参阅在组中设置 Lambda 函数的默认访问身份.

     提示

     你还必须更新你的config.json文件以授予访问 Lambda 函数的权限。有关步骤，请参阅以根用户身份运行 Lambda 函数.

   • 适用于Lambda 函数容器化，选择无容器.

     有关在不进行容器化的情况下运行的更多信息，请参阅选择 Lambda 函数容器化时的注意事项.

   • 对于 Timeout (超时)，输入 10 seconds。

   • 适用于Pinned，选择True.

     有关更多信息，请参阅 Greengrass Lambda 函数的生命周期配置。

   • UNDER其他参数，对于对 /sys 目录的只读访问权限，选择Enabled (已启用).

2. 要改为在容器化模式下运行，请执行以下操作：

   注意

   建议在容器化模式下运行，除非您的业务案例需要这样，除非您的业务案例需要这样，除非您的业务案例需要这样。

   • 适用于系统用户和组，选择使用Group 默认值.

   • 适用于Lambda 函数容器化，选择使用Group 默认值.

   • 对于 Memory limit (内存限制)，输入 1024 MB。

   • 对于 Timeout (超时)，输入 10 seconds。

   • 适用于Pinned，选择True.

     有关更多信息，请参阅 Greengrass Lambda 函数的生命周期配置。

   • UNDER其他参数，对于对 /sys 目录的只读访问权限，选择Enabled (已启用).

选择添加 Lambda 函数.

在您的计算机上，导航到您在第 3 步：创建推理 Lambda 函数中提取的示例程序包中的 resnet50 目录。

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

该目录包含使用 Resnet-50 训练的图像分类模型的预编译模型项目。

将 resnet50 目录中的文件压缩到一个名为 resnet50.zip 的文件中。

zip -r resnet50.zip .

在组配置页面上Amazon IoT GreengrassGroup (组)，选择资源选项卡。导航到 Machine Learning (机器学习) 部分，然后选择 Add machine learning resource (添加机器学习资源)。在 Create a machine learning resource (创建机器学习资源) 页面上，对于 Resource name (资源名称)，输入 resnet50_model。

适用于模型源，选择使用存储在 S3 中的模型，例如通过深度学习编译器优化的模型.

UNDERS3 URI，选择浏览 S3.

选择上传模型。

在 Amazon S3 控制台选项卡中，将 zip 文件上载到 Simple StorAmazon S3 vice 想要了解有关信息，请参阅如何将文件和文件夹上传至 S3 存储桶？中的Amazon Simple Storage S.

在Amazon IoT Greengrass控制台选项卡上，找到并选择您的 Amazon S3 存储桶。找到并上传 resnet50.zip 文件，然后选择 Select (选择)。您可能需要刷新页面以更新可用存储桶和文件的列表。

In目的地路径，输入。/ml_model.

这是 Lambda 运行时目标命名空间中本地模型的目标。当您部署该组时，Amazon IoT Greengrass 将检索源模型包，然后将内容提取到指定的目录。

如果在容器化模式下运行：

1. UNDER系统组所有者和文件访问权限，选择指定系统组和权限.

2. 选择只读访问权限然后选择。添加资源.

在组配置页面上，选择 Settors (组配置)资源选项卡。

在本地资源选项卡上，选择添加本地资源.

在存储库的添加本地资源页面上，使用以下值：

在页面底部，选择添加资源.

从资源选项卡上，通过选择创建另一个本地资源Add并使用以下值：

选择 Add resource (添加资源)。

在组配置页面上，选择 Settors (组配置)订阅选项卡，然后选择。添加订阅.

在存储库的创建订阅页面上，配置源和目标，如下所示：

1. In源类型，选择Lambda 函数，然后选择。optimizedImageClassification.

2. InTarget type，选择服务，然后选择。IoT 云.

3. 在主题筛选条件，输入。/resnet-50/predictions，然后选择。创建订阅.

添加另一个订阅。选择订阅选项卡上，选择添加订阅，并配置源和目标，如下所示：

1. In源类型，选择服务，然后选择。IoT 云.

2. InTarget type，选择Lambda 函数，然后选择。optimizedImageClassification.

3. 在主题筛选条件，输入。/resnet-50/test，然后选择。创建订阅.

确保Amazon IoT Greengrass核心正在运行。根据需要在您的 Raspberry Pi 终端中运行以下命令。

1. 要检查守护程序是否正在运行，请执行以下操作：

   ps aux | grep -E 'greengrass.*daemon'

   如果输出包含 root 的 /greengrass/ggc/packages/latest-core-version/bin/daemon 条目，则表示守护程序正在运行。

2. 启动守程序：

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

在组配置页面上，选择部署.

在存储库的Lambda 函数选项卡，选择IP 探测器然后选择编辑.

从编辑 IP 探测器设置对话框中，选择。自动检测和覆盖 MQTT 代理端点然后选择Save（保存）.

这使得设备可以自动获取核心的连接信息，例如 IP 地址、DNS 和端口号。建议使用自动检测，不过 Amazon IoT Greengrass 也支持手动指定的终端节点。只有在首次部署组时，系统才会提示您选择发现方法。

Deployments (部署) 页面显示了部署时间戳、版本 ID 和状态。完成后，部署的状态应显示为已完成.

有关部署的更多信息，请参阅将 Amazon IoT Greengrass 组部署到 Amazon IoT Greengrass 核心. 有关问题排查帮助，请参阅排除 Amazon IoT Greengrass 的故障。

在存储库的Amazon IoT控制台主页，在测试，选择MQTT 测试客户端.

适用于订阅，选择订阅主题. 使用以下值。将剩余选项保留为默认值。

选择 Subscribe。

选择向主题发布，输入。/resnet-50/test作为主题名称，然后选择发布.

如果测试成功，发布的消息会触发 Raspberry Pi 摄像机捕获图像。来自 Lambda 函数的消息将显示在页面底部。该消息包含图像的预测结果，采用的格式为：预测的类名称、可能性和峰值内存使用率。

下载用于 Lambda 函数的静态 PNG 或 JPG 图像以用于图像分类。该示例最适合小型图像文件。

将图像文件保存在包含 inference.py 文件的目录中（或保存在此目录的子目录中）。此目录位于您在中上传的 Lambda 函数部署程序包中第 3 步：创建推理 Lambda 函数.

编辑 Lambda 函数的配置。按照第 4 步：将 Lambda 函数添加到 Greengrass 组中的程序进行操作。

1. 要在没有容器化的情况下运行：

   • 适用于系统用户和组，选择Another user ID/group ID. 适用于系统用户 ID，输入。0. 适用于系统组 ID，输入。0.

     这允许 Lambda 函数以根用户身份运行。有关以 root 用户身份运行的更多信息，请参阅在组中设置 Lambda 函数的默认访问身份.

     提示

     你还必须更新你的config.json文件以授予访问 Lambda 函数的权限。有关步骤，请参阅以根用户身份运行 Lambda 函数.

   • 适用于Lambda 函数容器化，选择无容器.

     有关在不进行容器化的情况下运行的更多信息，请参阅选择 Lambda 函数容器化时的注意事项.

   • 将超时值增加到 2 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 适用于Pinned，选择True.

   • UNDER其他参数，对于对 /sys 目录的只读访问权限，选择Enabled (已启用).

2. 要改为在容器化模式下运行，请执行以下操作：

   注意

   建议在容器化模式下运行，除非您的业务案例需要这样，除非您的业务案例需要这样，除非您的业务案例需要这样。

   • 将内存限制值提高到 3000 MB。

   • 将超时值增加到 2 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 适用于Pinned，选择True.

   • UNDER其他参数，对于对 /sys 目录的只读访问权限，选择Enabled (已启用).

将 Neo 优化的模型资源添加到组中。上传您在第 3 步：创建推理 Lambda 函数中提取的示例程序包的 resnet50 目录中的模型资源。该目录包含使用 Resnet-50 训练的图像分类模型的预编译模型项目。按照第 5 步：添加 SageMaker Greengrass 组的新优化的模型资源中的过程操作，并进行以下更新。

如果在容器化模式下运行中，添加所需的本地设备资源以授予对设备 GPU 的访问权限。

1. 在组配置页面上，选择 Settors (组配置)资源选项卡。

2. 在本地资源部分中，选择。添加本地资源.

3. 定义资源：

   • 对于 Resource name (资源名称)，输入 renderD128。

   • 对于 Resource type (资源类型)，选择 Device (设备)。

   • 适用于本地设备路径，输入。/dev/dri/renderD128.

   • 适用于系统组所有者和文件访问权限，选择自动添加拥有资源的系统组权限.

确保已配置您的 Jetson 设备，以便安装 Amazon IoT Greengrass Core 软件并使用 GPU 进行推理。有关配置设备的更多信息，请参阅设置其他设备。要在 NVIDIA Jetson TX2 上使用 GPU 进行推理，在使用 Jetpack 4.3 获取板卡图像时，您必须在设备上安装 CUDA 10.0 和 cuDNN 7.0。

下载用于 Lambda 函数的静态 PNG 或 JPG 图像以用于图像分类。该示例最适合小型图像文件。

将图像文件保存在包含 inference.py 文件的目录中。您也可以将这些文件保存在此目录的子目录中。此目录位于您在中上传的 Lambda 函数部署程序包中第 3 步：创建推理 Lambda 函数.

编辑 Lambda 函数的配置。按照第 4 步：将 Lambda 函数添加到 Greengrass 组中的程序进行操作。

1. 要在没有容器化的情况下运行：

   • 适用于Run as (运行方式)，选择Another user ID/group ID. 适用于UID，输入。0. 适用于GUID，输入。0.

     这允许 Lambda 函数以根用户身份运行。有关以 root 用户身份运行的更多信息，请参阅在组中设置 Lambda 函数的默认访问身份.

     提示

     你还必须更新你的config.json文件以授予访问 Lambda 函数的权限。有关步骤，请参阅以根用户身份运行 Lambda 函数.

   • 适用于Lambda 函数容器化，选择无容器.

     有关在不进行容器化的情况下运行的更多信息，请参阅选择 Lambda 函数容器化时的注意事项.

   • 将超时值增加到 5 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 适用于Pinned，选择True.

   • UNDER其他参数，对于对 /sys 目录的只读访问权限，选择Enabled (已启用).

2. 要改为在容器化模式下运行，请执行以下操作：

   注意

   建议在容器化模式下运行，除非您的业务案例需要这样，除非您的业务案例需要这样，除非您的业务案例需要这样。

   • 提高内存限制值。要在 GPU 模式下使用提供的模型，请使用至少 2000 MB。

   • 将超时值增加到 5 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 适用于Pinned，选择True.

   • UNDER其他参数，对于对 /sys 目录的只读访问权限，选择Enabled (已启用).

将 Neo 优化的模型资源添加到组中。上传您在第 3 步：创建推理 Lambda 函数中提取的示例程序包的 resnet18 目录中的模型资源。该目录包含使用 Resnet-18 训练的图像分类模型的预编译模型构件。按照第 5 步：添加 SageMaker Greengrass 组的新优化的模型资源中的过程操作，并进行以下更新。

如果在容器化模式下运行中，添加所需的本地设备资源以授予对设备 GPU 的访问权限。

1. 在组配置页面上，选择 Settors (组配置)资源选项卡。

2. 在本地资源部分中，选择。添加本地资源.

3. 定义每个资源：

   • 对于资源名称和设备路径，请使用下表中的值。为表中的每个行创建一个设备资源。

   • 对于 Resource type (资源类型)，选择 Device (设备)。

   • 适用于系统组所有者和文件访问权限，选择自动添加拥有资源的系统组权限.

      

     名称	设备路径
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/devnvhost-ctrl-gpu
     nvhost-dbg-gpu	/devnvhost-dbg-gpu
     nvhost-prof-gpu	/devnvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

如果在容器化模式下运行中，添加以下本地卷资源以授予对设备摄像头的访问权限。按照第 5 步：添加 SageMaker Greengrass 组的新优化的模型资源中的程序进行操作。

更新组订阅以使用正确的目录。按照步骤 7：将订阅添加到 Greengrass 组中的过程操作，并进行以下更新。

更新测试订阅以使用正确的目录。按照测试推理示例中的过程操作，并进行以下更新。

切换到根用户并导航到 log 目录。访问 Amazon IoT Greengrass 日志需要根权限。

sudo su
cd /greengrass/ggc/var/log

Checkruntime.log任何错误。

cat system/runtime.log | grep 'ERROR'

您还可以在用户定义的 Lambda 函数日志中查找任何错误：

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

有关更多信息，请参阅 使用日志排查问题。

列出已部署的 Lambda 的内容/lambda目录。在运行命令前替换占位符值。

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

验证该目录是否包含与optimizedImageClassification.zip您在中上传的部署包第 3 步：创建推理 Lambda 函数.

确保 .py 文件和依赖项位于该目录的根目录中。

查找 Lambda 运行时进程的进程标识号 (PID)：

ps aux | grep lambda-function-name

在输出中，PID 显示在 Lambda 运行时进程的行的第二列中。

输入 Lambda 运行时命名空间。请确保在运行命令前替换占位符 pid 值。

sudo nsenter -t pid -m /bin/bash

列出您为 ML 资源指定的本地目录的内容。

cd /ml_model
ls -ls

您应该看到以下文件：

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt