Kinesis Data Firehose - Amazon IoT Greengrass
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Kinesis Data Firehose

Kinesis Data Firehose 组件 (aws.greengrass.KinesisFirehose) 通过 Amazon Kinesis Data Firehose 传输流发布数据,如 Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service。有关更多信息,请参阅 。什么是 Amazon Kinesis Data Firehose?中的Amazon Kinesis Data Firehose 开发人员指南.

要使用此组件发布到 Kinesis 传递流,请将消息发布到此组件订阅的主题。默认情况下,此组件订阅kinesisfirehose/messagekinesisfirehose/message/binary/# 本地发布/订阅主题内容。您可以指定其他主题,包括Amazon IoT CoreMQTT 主题,当您部署此组件时。

注意

此组件提供了类似的功能与 Kinesis Data Firehose 连接器Amazon IoT GreengrassV1。有关更多信息,请参阅 。Kinesis Data Firehose 接头中的Amazon IoT GreengrassV1 开发人员指南.

Versions

此组件具有以下版本:

  • 2.0.x

Type

此组件是一个 Lambda 组件(aws.greengrass.lambda)。这些区域有:Greengrass 核心使用运行此组件的 Lambda 函数Lambda 启动器组件.

有关更多信息,请参阅组件类型

Requirements

此组件有以下要求:

  • 您的核心设备必须满足运行 Lambda 功能的要求。如果您希望核心设备运行容器化 Lambda 功能,设备必须满足要求才能执行此操作。有关更多信息,请参阅运行 Lambda 函数的要求

  • Python安装在核心设备上的 PATH 环境变量中。

  • 这些区域有:Greengrass 设备角色必须允许firehose:PutRecordfirehose:PutRecordBatch操作,如以下 IAM 策略示例所示。

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "firehose:PutRecord", "firehose:PutRecordBatch" ], "Effect": "Allow", "Resource": [ "arn:aws:firehose:region:account-id:deliverystream/stream-name" ] } ] }

    您可以动态覆盖此组件的输入消息负载中的默认传输流。如果您的应用程序使用此功能,则 IAM 策略必须包括所有目标流作为资源。您可以授予对资源的具体或条件访问权限(例如,通过使用通配符 * 命名方案)。

  • 若要从此组件接收输出数据,您必须合并旧版订阅路由器组件当您部署此组件时。旧版订阅路由器组件 (aws.greengrass.LegacySubscriptionRouter)是此组件的依赖关系。此配置指定此组件发布响应的主题。

    Legacy subscription router v2.1.x
    { "subscriptions": { "aws-greengrass-kinesisfirehose": { "id": "aws-greengrass-kinesisfirehose", "source": "component:aws.greengrass.KinesisFirehose", "subject": "kinesisfirehose/message/status", "target": "cloud" } } }
    Legacy subscription router v2.0.x
    { "subscriptions": { "aws-greengrass-kinesisfirehose": { "id": "aws-greengrass-kinesisfirehose", "source": "arn:aws:lambda:region:aws:function:aws-greengrass-kinesisfirehose:version", "subject": "kinesisfirehose/message/status", "target": "cloud" } } }
    • Replace区域使用Amazon Web Services 区域您使用的。

    • Replaceversion使用该组件运行的 Lambda 函数版本。要查找 Lambda 函数版本,必须查看要部署的此组件版本的配方。打开此组件的详细信息页面,在Amazon IoT Greengrass控制台,然后查找Lambda 函数键值对。此键值对包含 Lambda 函数的名称和版本。

    重要

    每次部署此组件时,必须更新旧订阅路由器上的 Lambda 函数版本。这可确保您为部署的组件版本使用正确的 Lambda 函数版本。

    有关更多信息,请参阅创建部署

Dependencies

部署组件时,Amazon IoT Greengrass还部署其依赖关系的兼容版本。这意味着您必须满足组件及其所有依赖关系的要求才能成功部署组件。此部分列出了发布版本以及定义每个依赖关系的组件版本的语义版本约束。您也可以在中查看每一版的组件的依赖关系。Amazon IoT Greengrass控制台. 在组件详细信息页面上,查找依赖项列表

2.0.7

下表列出了此组件 2.0.7 版的依赖关系。

依赖关系 兼容的版本 依赖关系类型
Greengrass 核心 >=2.5.0 硬性
Lambda 启动器 ^2.0.0 硬性
Lambda 运行时 ^2.0.0 软性
Token Token Service ^2.0.0 硬性
2.0.6

下表列出了此组件 2.0.6 版的依赖关系。

依赖关系 兼容的版本 依赖关系类型
Greengrass 核心 >=2.0.0 硬性
Lambda 启动器 ^2.0.0 硬性
Lambda 运行时 ^2.0.0 软性
Token Token Service ^2.0.0 硬性
2.0.5

下表列出了此组件 2.0.5 版的依赖关系。

依赖关系 兼容的版本 依赖关系类型
Greengrass 核心 >=2.3.0 硬性
Lambda 启动器 ^2.0.0 硬性
Lambda 运行时 ^2.0.0 软性
Token Token Service ^2.0.0 硬性
2.0.4

下表列出了此组件 2.0.4 版的依赖关系。

依赖关系 兼容的版本 依赖关系类型
Greengrass 核心 >=2.2.0 硬性
Lambda 启动器 ^2.0.0 硬性
Lambda 运行时 ^2.0.0 软性
Token Token Service ^2.0.0 硬性
2.0.3

下表列出了此组件 2.0.3 版的依赖关系。

依赖关系 兼容的版本 依赖关系类型
Greengrass 核心 >2.1.0 硬性
Lambda 启动器 >=1.0.0 硬性
Lambda 运行时 >=1.0.0 软性
Token Token Service >=1.0.0 硬性

有关组件依赖项的更多信息,请参阅。组件配方参考.

Configuration

此组件提供了以下配置参数,您可以在部署组件时自定义这些参数。

注意

此组件的默认配置包括 Lambda 函数参数。我们建议您仅编辑以下参数,以便在设备上配置此组件。

lambdaParams

包含此组件的 Lambda 函数参数的对象。此对象包含以下信息:

EnvironmentVariables

包含 Lambda 函数的参数的对象。此对象包含以下信息:

DEFAULT_DELIVERY_STREAM_ARN

组件在其中发送数据的默认 Kinesis Data Firehose 传输流的 ARN。您可以使用delivery_stream_arn属性。

注意

核心设备角色必须允许对所有目标传输流执行所需的操作。有关更多信息,请参阅Requirements

PUBLISH_INTERVAL

(可选)组件将批处理数据发布到 Kinesis Data Firehose 之前等待的最长秒数。要将组件配置为在收到指标时发布指标(也就是说不进行批处理),请指定0.

此值最多可以是 900 秒。

默认值:10 秒

DELIVERY_STREAM_QUEUE_SIZE

(可选)组件拒绝同一传输流的新记录之前要保留在内存中的记录的最大数目。

此值必须至少为 2,000 条记录。

默认值:5,000 条记录

containerMode

(可选) 此组件的容器化模式。从以下选项中进行选择:

  • NoContainer— 组件不在隔离的运行时环境中运行。

  • GreengrassContainer— 组件在隔离运行时环境中运行Amazon IoT Greengrass容器。

默认值:GreengrassContainer

containerParams

(可选)包含此组件的容器参数的对象。组件将使用这些参数,如果您指定GreengrassContainer对于 来说为containerMode.

此对象包含以下信息:

memorySize

(可选)要分配给组件的内存量(以千字节为单位)。

默认值为 64 MB(65,535 KB)。

pubsubTopics

(可选)包含组件预订接收消息的主题的对象。您可以指定每个主题,以及该组件是否订阅Amazon IoT Core或本地发布/订阅主题。

此对象包含以下信息:

0— 这是一个字符串形式的数组索引。

包含以下信息的对象:

type

(可选)此组件用于订阅消息的发布/订阅消息的类型。从以下选项中进行选择:

  • Pubsub – 订阅本地发布/订阅消息。如果选择此选项,则主题不能包含 MQTT 通配符。有关如何在指定此选项时从自定义组件发送消息的更多信息,请参阅发布/订阅本地消息.

  • IotCore— 订阅Amazon IoT CoreMQTT 消息。如果选择此选项,则主题可以包含 MQTT 通配符。有关如何在指定此选项时从自定义组件发送消息的更多信息,请参阅发布/订阅Amazon IoT CoreMQTT 消息.

默认值:Pubsub

topic

(可选)组件订阅以接收消息的主题。如果您指定IotCore对于 来说为type,您可以使用 MQTT 通配符(+#)。

例如:配置合并更新(容器模式)

{ "lambdaExecutionParameters": { "EnvironmentVariables": { "DEFAULT_DELIVERY_STREAM_ARN": "arn:aws:firehose:us-west-2:123456789012:deliverystream/mystream" } }, "containerMode": "GreengrassContainer" }

例如:配置合并更新(无容器模式)

{ "lambdaExecutionParameters": { "EnvironmentVariables": { "DEFAULT_DELIVERY_STREAM_ARN": "arn:aws:firehose:us-west-2:123456789012:deliverystream/mystream" } }, "containerMode": "NoContainer" }

输入数据

此组件接受关于以下主题的流内容,并将这些内容发送到目标传输流。此组件接受两种类型的输入数据:

  • JSON 数据,位于 kinesisfirehose/message 主题中。

  • 二进制数据,位于 kinesisfirehose/message/binary/# 主题中。

JSON 数据的默认主题(本地发布/订阅): kinesisfirehose/message

该消息接受以下属性。输入消息必须采用 JSON 格式。

request

要发送到传输流和目标传输流(如果不同于默认流)的数据。

类型:object,包含以下信息:

data

要发送到传输流的数据。

类型:string

delivery_stream_arn

(可选)目标 Kinesis Data Firehose 传输流的 ARN。指定此属性可覆盖默认传输流。

类型:string

id

请求的任意 ID。使用此属性可将输入请求映射到输出响应。指定该属性时,该组件将设置id属性设置为该值。

类型:string

例 示例输入

{ "request": { "delivery_stream_arn": "arn:aws:firehose:region:account-id:deliverystream/stream2-name", "data": "Data to send to the delivery stream." }, "id": "request123" }
二进制数据的默认主题(本地发布/订阅): kinesisfirehose/message/binary/#

使用此主题发送包含二进制数据的消息。组件不会解析二进制数据。组件按原样对数据进行流式处理。

要将输入请求映射到输出响应,请将消息主题中的 # 通配符替换为任意请求 ID。例如,如果您将消息发布到 kinesisfirehose/message/binary/request123,响应对象中的 id 属性将设置为 request123

如果您不希望将请求映射到响应,可以将消息发布到 kinesisfirehose/message/binary/。请务必包含尾斜杠(/)。

输出数据

默认情况下,此组件将响应发布为以下 MQTT 主题上的输出数据。您必须将此主题指定为subject配置中的旧版订阅路由器组件. 有关如何在自定义组件中订阅有关此主题的消息的更多信息,请参阅。发布/订阅Amazon IoT CoreMQTT 消息.

默认主题 (Amazon IoT CoreMQTT): kinesisfirehose/message/status

例 输出示例

响应包含批处理中发送的每个数据记录的状态。

{ "response": [ { "ErrorCode": "error", "ErrorMessage": "test error", "id": "request123", "status": "fail" }, { "firehose_record_id": "xyz2", "id": "request456", "status": "success" }, { "firehose_record_id": "xyz3", "id": "request890", "status": "success" } ] }
注意

如果组件检测到可重试的错误(如连接错误),它会在下一批处理中重试发布。

Licenses

此组件包含以下第三方软件/许可:

此组件在Greengrass 核心软件许可协议.

Changelog

下表介绍每一版的中的更改。

Version

更改

2.0.7

已更新适用于 Greengrass 原核 2.4.0 版发行。

2.0.6

已更新适用于 Greengrass 原核 2.3.0 版发行。

2.0.5

已更新适用于 Greengrass 原核 2.2.0 版发行。

2.0.4

已更新适用于 Greengrass 原核 2.1.0 版发行。

2.0.3

初始版本。

另请参阅