连接器 ML 对象检测

机器学习对象检测连接器提供在上运行的机器学习 (ML) 推理服务。Amazon IoT Greengrass核心。此本地推理服务使用由编译的对象检测模型执行对象检测。 SageMaker Neo 深度学习编译器。支持两种类型的物体检测模型：单步多框检测器（SSD），只用看一下（YOLO）v3。有关更多信息，请参阅对象检测模型要求。

用户定义的 Lambda 函数使用Amazon IoT Greengrass用于将推理请求提交给本地推理服务的 Machine Learning SDK。该服务对输入图像执行本地推理，并针对图像中检测到的每个对象返回预测列表。每个预测都包含一个对象类别、一个预测置信度得分和像素坐标，这些像素坐标指定围绕预测对象的边界框。

Amazon IoT Greengrass为多个平台提供 ML 对象检测连接器：

要求

这些连接器具有以下要求：

对象检测模型要求

ML 对象检测连接器支持 Single Shot Multibox Detector（单步多框检测器，SSD）和 Yook Only Look Once（只用看一次，YOLO）v3 您可以使用 GluonCV 提供的对象检测组件来通过您自己的数据集训练模型。或者，您可以使用 GluonCV Model Zoo 中的预训练模型：

您的对象检测模型必须使用 512 x 512 输入图像进行训练。来自 GluonCV Model Zoo 的预训练模型已经满足了这一要求。

必须使用编译训练的对象检测模型。 SageMaker Neo 深度学习编译器。编译时，请确保目标硬件与您的 Greengrass 核心设备的硬件匹配。有关更多信息，请参阅 。 SageMaker 新中的亚马逊 SageMaker 开发人员指南.

必须将已编译的模型作为 ML 资源添加（源 Amazon S3 模型与连接器相同的 Greengrass 组。

连接器参数

这些连接器提供以下参数。

创建连接器示例 (Amazon CLI）

以下 CLI 命令将创建ConnectorDefinition它具有包含 ML 对象检测连接器的初始版本。以下示例创建 ML 对象检测 ARMv7l 连接器的实例。

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

在Amazon IoT Greengrass控制台，您可以从组中添加连接器连接器页. 有关更多信息，请参阅 Greengrass 连接器入门（控制台）。

输入数据

这些连接器接受一个图像文件作为输入。输入图像文件必须为 jpeg 或 png 格式。有关更多信息，请参阅 示例用法。

这些连接器不接受 MQTT 消息作为输入数据。

输出数据

这些连接器返回输入图像中识别的对象的预测结果的格式化列表：

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

列表中的每个预测都包含在方括号中，并包含六个值：

这些连接器不会将 MQTT 消息作为输出数据发布。

示例用法

以下示例 Lambda 函数使用Amazon IoT GreengrassMachine Learning SDK以与 ML 对象检测连接器进行交互。

该示例初始化一个开发工具包客户端，并同步调用该开发工具包的 invoke_inference_service 函数来调用本地推理服务。它会传入算法类型、服务名称、映像类型和映像内容。然后，该示例会解析服务响应以获取概率结果（预测）。

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

这些区域有：invoke_inference_service中的函数Amazon IoT GreengrassMachine Learning SDK 接受以下参数：

在 Amazon IoT Greengrass 核心上安装 Neo 深度学习运行时依赖项

ML 对象检测连接器与 SageMaker Neo 深度学习运行时 (DLR)。连接器使用此运行时来处理 ML 模型。要使用这些连接器，必须在核心设备上安装 DLR 的依赖项。

在您安装 DLR 依赖项之前，请确保设备上存在所需的系统库（具有指定的最低版本）。

记录和故障排除

根据您的组设置，事件和错误日志将写入到 CloudWatch 日志、本地文件系统或两者。此连接器中的日志使用前缀 LocalInferenceServiceName。如果连接器出现异常行为，请检查连接器日志。其中经常包含有用的调试信息，例如缺失 ML 库依赖项或连接器启动故障的原因。

如果Amazon IoT Greengrass组被配置为写入本地日志，连接器将日志文件写入greengrass-root/ggc/var/log/user/region/aws/. 有关 Greengrass 日志记录的更多信息，请参阅利用 Amazon IoT Greengrass 日志进行监控.

可以使用以下信息帮助解决 ML 对象检测连接器的问题。

所需系统库

以下选项卡列出了每个 ML 对象检测连接器所需的系统库。

问题

sudo ln /dev/null /dev/raw1394

许可证

ML 对象检测连接器包含以下第三方软件/许可：

此连接器在Greengrass 核心软件许可协议.

另请参阅