如何使用 Amazon Web Services Management Console配置优化的机器学习推理

安装 Raspbian 的更新。

sudo apt-get update
sudo apt-get dist-upgrade

安装适用于摄像机模块的 picamera 接口以及本教程所需的其他 Python 库。

sudo apt-get install -y python3-dev python3-setuptools python3-pip python3-picamera

验证安装：

重启 Raspberry Pi。

sudo reboot

打开 Raspberry Pi 配置工具。

sudo raspi-config

使用箭头键打开接口选项并启用摄像机接口。如果出现提示，请允许设备重新启动。

使用以下命令测试摄像机设置。

raspistill -v -o test.jpg

这将在 Raspberry Pi 上打开一个预览窗口，将名为 test.jpg 的图片保存到您的当前目录，并在 Raspberry Pi 终端中显示有关摄像机的信息。

远程登录您的 Raspberry Pi。

ssh pi@your-device-ip-address

打开 DLR 文档，打开安装 DLR，然后找到 Raspberry Pi 设备的 wheel URL。然后，按照说明执行操作，在您的设备上安装 DLR。例如，您可以使用 pip：

pip3 install rasp3b-wheel-url

安装 DLR 后，请验证以下配置：

在您的计算机上，从机器学习示例下载 Raspberry Pi 的 DLR 示例。

不要解压下载的 dlr-py3-armv7l.tar.gz 文件。

cd path-to-downloaded-sample
tar -xvzf dlr-py3-armv7l.tar.gz

提取的示例程序包中的 examples 目录包含函数代码和依赖项。

将 examples 目录的内容压缩到一个名为 optimizedImageClassification.zip 的文件中。这就是您的部署程序包。

cd path-to-downloaded-sample/dlr-py3-armv7l/examples
zip -r optimizedImageClassification.zip .

部署程序包包含您的函数代码和依赖项。其中包括的代码将调用 Neo 深度学习运行时 Python API 以使用 Neo 深度学习编译器模型执行推理。

现在，将 Lambda 函数添加到 Greengrass 组。

从 Lambda 控制台页面，选择函数，然后选择创建函数。

选择从头开始创作并使用以下值创建您的函数：

对于权限，请保留默认设置。这将创建一个授予基本 Lambda 权限的执行角色。此角色未由 Amazon IoT Greengrass 使用。

选择 Create function（创建函数）。

在代码选项卡上的代码源下，选择上传自。从下拉列表中选择 .zip 文件。

选择您的 optimizedImageClassification.zip 部署包，然后选择保存。

在函数的代码选项卡中，在运行时设置下选择编辑，然后输入以下值。

选择 Save（保存）。

在 Actions 菜单上，选择 Publish new version。

对于 Version description (版本描述)，输入 First version，然后选择 Publish (发布)。

在 optimizedImageClassification: 1 配置页面上，从 Actions (操作) 菜单中选择 Create alias (创建别名)。

在创建新别名页面上，使用以下值：

选择 Create（创建）。

现在，将 Lambda 函数添加到 Greengrass 组。

在 Amazon IoT 控制台导航窗格的管理下，展开 Greengrass 设备，然后选择组 (V1)。

在组配置页面上，选择 Lambda 函数选项卡，然后选择添加。

选择 Lambda 函数 并选择 optimizedImageClassification。

在 Lambda 函数版本上，请选择您所发布的版本的别名。

在 Lambda 函数配置部分中，进行以下更新。

1. 在不进行容器化的情况下运行：

   • 对于系统用户和群，请选择 Another user ID/group ID。在系统用户 ID 中，输入 0。在系统组 ID 中，输入 0。

     这将允许您的 Lambda 函数以根用户身份运行。有关以根用户身份运行的更多信息，请参阅 为组中的 Lambda 函数设置默认访问身份。

     提示

     您还必须更新 config.json 文件，从而能够为 Lambda 函数授予根用户访问权限。有关此步骤，请参阅 以根用户身份运行 Lambda 函数。

   • 对于 Lambda 函数容器化，请选择无容器。

     有关不进行容器化的情况下运行的更多信息，请参阅 选择 Lambda 函数容器化时的注意事项。

   • 对于 Timeout (超时)，输入 10 seconds。

   • 对于已固定，选择 True。

     有关更多信息，请参阅Greengrass Lambda 函数的生命周期配置。

   • 在其他参数下，在对 sys 目录的只读权限中选择启用。

2. 改为在容器化模式下运行：

   注意

   我们不建议以容器化模式运行，除非您的业务案例需要这样做。

   • 对于系统用户和组，选择使用组默认值。

   • 对于 Lambda 函数容器化，选择使用组默认值。

   • 对于 Memory limit (内存限制)，输入 1024 MB。

   • 对于 Timeout (超时)，输入 10 seconds。

   • 对于已固定，选择 True。

     有关更多信息，请参阅Greengrass Lambda 函数的生命周期配置。

   • 在其他参数下，在对 sys 目录的只读权限中选择启用。

选择 添加 Lambda 函数。

在您的计算机上，导航到您在步骤 3：创建推理 Lambda 函数中提取的示例程序包中的 resnet50 目录。

cd path-to-downloaded-sample/dlr-py3-armv7l/models/resnet50

该目录包含使用 Resnet-50 训练的图像分类模型的预编译模型项目。

将 resnet50 目录中的文件压缩到一个名为 resnet50.zip 的文件中。

zip -r resnet50.zip .

在您的 Amazon IoT Greengrass 组的组配置页面上，选择 资源选项卡。导航到 Machine Learning (机器学习) 部分，然后选择 Add machine learning resource (添加机器学习资源)。在 Create a machine learning resource (创建机器学习资源) 页面上，对于 Resource name (资源名称)，输入 resnet50_model。

对于模型来源，选择使用存储在 S3 中的模型，例如通过深度学习编译器优化的模型。

在 S3 URI 下，选择浏览 S3。

选择上传模型。

在 Amazon S3 控制台选项卡中，将 zip 文件上传到 Amazon S3 存储桶。有关信息，请参阅 Amazon Simple Storage Service 用户指南中的如何将文件和文件夹上传到 S3 存储桶？。

在 Amazon IoT Greengrass 控制台选项卡中，找到并选择 Amazon S3 存储桶。找到并上传 resnet50.zip 文件，然后选择 Select (选择)。您可能需要刷新页面以更新可用存储桶和文件的列表。

对于 目的地路径，输入 /ml_model。

这是 Lambda 运行时目标命名空间中本地模型的目标。当您部署该组时，Amazon IoT Greengrass 将检索源模型包，然后将内容提取到指定的目录。

如果在容器化模式下运行：

1. 在系统组所有者和文件访问权限下，选择指定系统组和权限。

2. 选择 只读访问权限，然后选择 添加资源。

在组配置页面上，选择资源选项卡。

在本地资源选项卡上，选择添加本地资源。

在 添加本地资源 页面上，使用以下值：

在页面底部，选择添加资源。

在资源选项卡中，选择添加并使用以下值创建另一个本地资源：

选择 Add resource (添加资源)。

在组配置页面中，选择订阅选项卡，然后选择添加订阅。

在创建订阅页面中，按如下所述配置源和目标：

1. 在 源类型中，选择 Lambda 函数，然后选择 optimizedImageClassification。

2. 对于目标类型，选择服务，然后选择 IoT 云。

3. 在主题筛选条件字段中，输入 /resnet-50/predictions，然后选择订阅。

添加另一个订阅。选择订阅选项卡，选择添加订阅，然后按如下所示配置源和目标：

1. 在源类型中，选择服务，然后选择 IoT 云。

2. 在 目标类型中，选择 Lambda 函数，然后选择 optimizedImageClassification。

3. 在主题筛选条件字段中，输入 /resnet-50/test，然后选择订阅。

确保 Amazon IoT Greengrass 核心正在运行。根据需要在您的 Raspberry Pi 终端中运行以下命令。

1. 要检查守护程序是否正在运行，请执行以下操作：

   ps aux | grep -E 'greengrass.*daemon'

   如果输出包含 root 的 /greengrass/ggc/packages/latest-core-version/bin/daemon 条目，则表示守护程序正在运行。

2. 启动进程守护程序：

   cd /greengrass/ggc/core/
   sudo ./greengrassd start

在组配置页面上，选择部署。

在 Lambda 函数选项卡上，选择 IP 检测器，然后选择编辑。

在编辑 IP 检测器设置对话框中，选择自动检测和覆盖 MQTT 代理端点，然后选择保存。

这使得设备可以自动获取核心的连接信息，例如 IP 地址、DNS 和端口号。建议使用自动检测，不过 Amazon IoT Greengrass 也支持手动指定的终端节点。只有在首次部署组时，系统才会提示您选择发现方法。

Deployments (部署) 页面显示了部署时间戳、版本 ID 和状态。完成后，部署的状态应显示为 已完成。

有关部署的更多信息，请参阅 将 Amazon IoT Greengrass 组部署到 Amazon IoT Greengrass 核心。有关问题排查帮助，请参阅故障排除 Amazon IoT Greengrass。

在 Amazon IoT 控制台主页的测试下，选择 MQTT 测试客户端。

对于订阅，选择订阅主题。使用以下值。将剩余选项保留为默认值。

选择 Subscribe。

选择发布主题，输入 /resnet-50/test 作为主题名称，然后选择发布。

如果测试成功，发布的消息会触发 Raspberry Pi 摄像机捕获图像。来自 Lambda 函数的消息将显示在页面底部。该消息包含图像的预测结果，采用的格式为：预测的类名称、可能性和峰值内存使用率。

下载 Lambda 函数的静态 PNG 或 JPG 图像以用于图像分类。该示例最适合小型图像文件。

将图像文件保存在包含 inference.py 文件的目录中（或保存在此目录的子目录中）。此目录位于您在 步骤 3：创建推理 Lambda 函数 中上传的 Lambda 函数部署程序包中。

编辑 Lambda 函数的配置。按照步骤 4：将 Lambda 函数添加到 Greengrass 组中的程序进行操作。

1. 在不进行容器化的情况下运行：

   • 对于系统用户和群，请选择 Another user ID/group ID。在系统用户 ID 中，输入 0。在系统组 ID 中，输入 0。

     这将允许您的 Lambda 函数以根用户身份运行。有关以根用户身份运行的更多信息，请参阅 为组中的 Lambda 函数设置默认访问身份。

     提示

     您还必须更新 config.json 文件，从而能够为 Lambda 函数授予根用户访问权限。有关此步骤，请参阅 以根用户身份运行 Lambda 函数。

   • 对于 Lambda 函数容器化，请选择无容器。

     有关不进行容器化的情况下运行的更多信息，请参阅 选择 Lambda 函数容器化时的注意事项。

   • 将超时值增加到 2 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 对于已固定，选择 True。

   • 在其他参数下，在对 sys 目录的只读权限中选择启用。

2. 改为在容器化模式下运行：

   注意

   我们不建议以容器化模式运行，除非您的业务案例需要这样做。

   • 将内存限制值提高到 3000 MB。

   • 将超时值增加到 2 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 对于已固定，选择 True。

   • 在其他参数下，在对 sys 目录的只读权限中选择启用。

将 Neo 优化的模型资源添加到组中。上传您在步骤 3：创建推理 Lambda 函数中提取的示例程序包的 resnet50 目录中的模型资源。该目录包含使用 Resnet-50 训练的图像分类模型的预编译模型项目。按照步骤 5：将 SageMaker Neo 优化的模型资源添加到 Greengrass 组中中的过程操作，并进行以下更新。

如果在容器化模式下运行，请添加所需的本地设备资源以授予对设备 GPU 的访问权限。

1. 在组配置页面上，选择资源选项卡。

2. 在本地资源部分，选择添加本地资源。

3. 定义资源：

   • 对于 Resource name (资源名称)，输入 renderD128。

   • 对于 Resource type (资源类型)，选择 Device (设备)。

   • 对于 本地设备路径，输入 /dev/dri/renderD128。

   • 在 系统组所有者和文件访问权限 下，选择 自动添加拥有资源的系统组的文件系统权限。

确保已配置您的 Jetson 设备，以便安装 Amazon IoT Greengrass Core 软件并使用 GPU 进行推理。有关配置设备的更多信息，请参阅设置其他设备。要在 NVIDIA Jetson TX2 上使用 GPU 进行推理，在使用 Jetpack 4.3 获取板卡图像时，您必须在设备上安装 CUDA 10.0 和 cuDNN 7.0。

下载 Lambda 函数的静态 PNG 或 JPG 图像以用于图像分类。该示例最适合小型图像文件。

将图像文件保存在包含 inference.py 文件的目录中。您也可以将这些文件保存在此目录的子目录中。此目录位于您在 步骤 3：创建推理 Lambda 函数 中上传的 Lambda 函数部署程序包中。

编辑 Lambda 函数的配置。按照步骤 4：将 Lambda 函数添加到 Greengrass 组中的程序进行操作。

1. 在不进行容器化的情况下运行：

   • 对于运行方式，选择 Another user ID/group ID。对于 UID，请输入 0。对于 GUID，请输入 0。

     这将允许您的 Lambda 函数以根用户身份运行。有关以根用户身份运行的更多信息，请参阅 为组中的 Lambda 函数设置默认访问身份。

     提示

     您还必须更新 config.json 文件，从而能够为 Lambda 函数授予根用户访问权限。有关此步骤，请参阅 以根用户身份运行 Lambda 函数。

   • 对于 Lambda 函数容器化，请选择无容器。

     有关不进行容器化的情况下运行的更多信息，请参阅 选择 Lambda 函数容器化时的注意事项。

   • 将超时值增加到 5 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 对于已固定，选择 True。

   • 在其他参数下，在对 sys 目录的只读权限中选择启用。

2. 改为在容器化模式下运行：

   注意

   我们不建议以容器化模式运行，除非您的业务案例需要这样做。

   • 提高内存限制值。要在 GPU 模式下使用提供的模型，请使用至少 2000 MB。

   • 将超时值增加到 5 分钟。这可确保请求不会过早超时。设置后，需要几分钟以运行推理。

   • 对于已固定，选择 True。

   • 在其他参数下，在对 sys 目录的只读权限中选择启用。

将 Neo 优化的模型资源添加到组中。上传您在步骤 3：创建推理 Lambda 函数中提取的示例程序包的 resnet18 目录中的模型资源。该目录包含使用 Resnet-18 训练的图像分类模型的预编译模型构件。按照步骤 5：将 SageMaker Neo 优化的模型资源添加到 Greengrass 组中中的过程操作，并进行以下更新。

如果在容器化模式下运行，请添加所需的本地设备资源以授予对设备 GPU 的访问权限。

1. 在组配置页面上，选择资源选项卡。

2. 在本地资源部分，选择添加本地资源。

3. 定义每个资源：

   • 对于资源名称和设备路径，请使用下表中的值。为表中的每个行创建一个设备资源。

   • 对于 Resource type (资源类型)，选择 Device (设备)。

   • 在 系统组所有者和文件访问权限 下，选择 自动添加拥有资源的系统组的文件系统权限。

      

     名称	设备路径
     nvhost-ctrl	/dev/nvhost-ctrl
     nvhost-gpu	/dev/nvhost-gpu
     nvhost-ctrl-gpu	/dev/nvhost-ctrl-gpu
     nvhost-dbg-gpu	/dev/nvhost-dbg-gpu
     nvhost-prof-gpu	/dev/nvhost-prof-gpu
     nvmap	/dev/nvmap
     nvhost-vic	/dev/nvhost-vic
     tegra_dc_ctrl	/dev/tegra_dc_ctrl

如果在容器化模式下运行，请添加以下本地卷资源以授予对设备摄像头的访问权限。按照步骤 5：将 SageMaker Neo 优化的模型资源添加到 Greengrass 组中中的程序进行操作。

更新组订阅以使用正确的目录。按照步骤 7：将订阅添加到 Greengrass 组中的过程操作，并进行以下更新。

更新测试订阅以使用正确的目录。按照测试推理示例中的过程操作，并进行以下更新。

切换到根用户并导航到 log 目录。访问 Amazon IoT Greengrass 日志需要根权限。

sudo su
cd /greengrass/ggc/var/log

检查 runtime.log 是否存在任何错误。

cat system/runtime.log | grep 'ERROR'

您还可以在用户定义的 Lambda 函数日志中查找任何错误：

cat user/your-region/your-account-id/lambda-function-name.log | grep 'ERROR'

有关更多信息，请参阅使用日志排查问题。

列出 /lambda 目录中已部署的 Lambda 的内容。在运行命令前替换占位符值。

cd /greengrass/ggc/deployment/lambda/arn:aws:lambda:region:account:function:function-name:function-version
ls -la

验证该目录是否包含与您在 步骤 3：创建推理 Lambda 函数 中上传的 optimizedImageClassification.zip 部署程序包相同的内容。

确保 .py 文件和依赖项位于该目录的根目录中。

查找 Lambda 运行时进程的进程标识号 (PID)：

ps aux | grep lambda-function-name

在输出中，PID 显示在 Lambda 运行时进程的行的第二列中。

输入 Lambda 运行时命名空间。请确保在运行命令前替换占位符 pid 值。

sudo nsenter -t pid -m /bin/bash

列出您为 ML 资源指定的本地目录的内容。

cd /ml_model
ls -ls

您应该看到以下文件：

    56 -rw-r--r-- 1 ggc_user ggc_group     56703 Oct 29 20:07 model.json
196152 -rw-r--r-- 1 ggc_user ggc_group 200855043 Oct 29 20:08 model.params
   256 -rw-r--r-- 1 ggc_user ggc_group    261848 Oct 29 20:07 model.so
    32 -rw-r--r-- 1 ggc_user ggc_group     30564 Oct 29 20:08 synset.txt