ML 对象检测连接器

ML 对象检测连接器提供在 Amazon IoT Greengrass 核心上运行的机器学习 (ML) 推理服务。此本地推理服务使用 SageMaker AI Neo 深度学习编译器编译的对象检测模型执行对象检测。支持两种类型的对象检测模型：Single Shot Multibox Detector（单步多框检测器，SSD）和 You Only Look Once（只用看一遍，YOLO）v3。有关更多信息，请参阅对象检测模型要求。

用户定义的 Lambda 函数使用 M Amazon IoT Greengrass achine Learning SDK 向本地推理服务提交推理请求。该服务对输入图像执行本地推理，并针对图像中检测到的每个对象返回预测列表。每个预测都包含一个对象类别、一个预测置信度得分和像素坐标，这些像素坐标指定围绕预测对象的边界框。

Amazon IoT Greengrass 为多个平台提供机器学习对象检测连接器：

要求

这些连接器具有以下要求：

对象检测模型要求

ML 对象检测连接器支持单步多框检测器（SSD）和只用看一遍（YOLO）v3 对象检测模型类型。您可以使用 GluonCV 提供的对象检测组件来通过您自己的数据集训练模型。或者，您可以使用 GluonCV Model Zoo 中的预训练模型：

您的对象检测模型必须使用 512 x 512 输入图像进行训练。来自 GluonCV Model Zoo 的预训练模型已经满足了这一要求。

必须使用 SageMaker AI Neo 深度学习编译器编译经过训练的物体检测模型。编译时，请确保目标硬件与您的 Greengrass 核心设备的硬件匹配。有关更多信息，请参阅 SageMaker A mazon 人工智能开发者指南中的 SageMaker AI Neo。

必须将已编译的模型作为 ML 资源（Amazon S3 模型源）添加到与连接器相同的 Greengrass 组中。

连接器参数

这些连接器提供以下参数。

创建连接器示例 (Amazon CLI)

以下 CLI 命令创建一个 ConnectorDefinition，其初始版本包含 ML 对象检测连接器。此示例创建了 ML 对象检测 ARMv7l 连接器的实例。

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

在 Amazon IoT Greengrass 控制台中，您可以从群组的 “连接器” 页面添加连接器。有关更多信息，请参阅 Greengrass 连接器入门（控制台）。

输入数据

这些连接器接受一个图像文件作为输入。输入图像文件必须为 jpeg 或 png 格式。有关更多信息，请参阅 用法示例。

这些连接器不接受 MQTT 消息作为输入数据。

输出数据

这些连接器返回输入图像中识别的对象的预测结果的格式化列表：

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

列表中的每个预测都包含在方括号中，并包含六个值：

这些连接器不发布 MQTT 消息来作为输出数据。

用法示例

以下示例 Lambda 函数使用 Amazon IoT Greengrass 机器学习软件开发工具包与 ML 对象检测连接器进行交互。

该示例初始化一个开发工具包客户端，并同步调用该开发工具包的 invoke_inference_service 函数来调用本地推理服务。它会传入算法类型、服务名称、映像类型和映像内容。然后，该示例会解析服务响应以获取概率结果（预测）。

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

Machine Lear Amazon IoT Greengrass ning SDK 中的invoke_inference_service函数接受以下参数。

在 Amazon IoT Greengrass 核心上安装 Neo 深度学习运行时依赖关系

机器学习对象检测连接器与 SageMaker AI Neo 深度学习运行时 (DLR) 捆绑在一起。连接器使用此运行时来处理 ML 模型。要使用这些连接器，必须在核心设备上安装 DLR 的依赖项。

在您安装 DLR 依赖项之前，请确保设备上存在所需的系统库（具有指定的最低版本）。

日志记录和故障排除

根据您的群组设置，事件和错误日志会写入日 CloudWatch 志、本地文件系统或两者兼而有之。此连接器中的日志使用前缀 LocalInferenceServiceName。如果连接器出现异常行为，请检查连接器日志。其中经常包含有用的调试信息，例如缺失 ML 库依赖项或连接器启动故障的原因。

如果将 Amazon IoT Greengrass 组配置为写入本地日志，则连接器会将日志文件写入到greengrass-root/ggc/var/log/user/region/aws/。有关 Greengrass 日志记录的更多信息，请参阅 使用 Amazon IoT Greengrass 日志进行监控。

可以使用以下信息帮助解决 ML 对象检测连接器问题。

所需系统库

以下选项卡列出了每个 ML 对象检测连接器所需的系统库。

问题

sudo ln /dev/null /dev/raw1394

许可证

ML 对象检测连接器包含以下第三方软件/许可：

该连接器在 Greengrass Core 软件许可协议下发布。

另请参阅