亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
记录转换和格式转换
配置 Amazon Data Firehose 以转换和转换您的记录数据。
如果您选择 Amazon MSK 作为传送流的来源:
-
在使用 Amazon Lambda 转换源记录部分中,提供以下字段的值:
- 数据转换
-
要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。
要指定 Lambda 函数以供 Firehose 在传入数据之前调用并用于在传入数据之前对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含 Firehose 所需的状态模型。有关更多信息,请参阅 亚马逊数据 Firehose 数据转换。
-
在 Convert record format (转换记录格式) 部分,为以下字段提供值:
- Record format conversion (记录格式转换)
-
要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。
要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个Amazon Glue表,其中包含您希望 Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Firehose 中转换您的输入记录格式。
有关如何使用设置记录格式转换的示例Amazon CloudFormation,请参阅Amazon::KinesisFirehose:: DeliveryStream。
-
-
如果您选择适用于 Apache Flink 的托管服务或 Direct PUT 作为传输流的来源,请在 “源设置” 部分中:
-
在 “转换记录” 下,选择以下选项之一:
如果您的目标是 Amazon S3 或 Splunk,请在 “解压缩源记录 Amazon CloudWatch 日志” 部分,选择 “开启解压缩”。
在使用 Amazon Lambda 转换源记录部分中,提供以下字段的值:
- 数据转换
-
要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。
要指定 Lambda 函数,让 Amazon Data Firehose 在传入的数据之前调用并使用该函数对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含亚马逊 Data Firehose 所需的状态模型。有关更多信息,请参阅 亚马逊数据 Firehose 数据转换。
-
在 Convert record format (转换记录格式) 部分,为以下字段提供值:
- Record format conversion (记录格式转换)
-
要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。
要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个Amazon Glue表,其中包含您希望 Amazon Data Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Firehose 中转换您的输入记录格式。
有关如何使用设置记录格式转换的示例Amazon CloudFormation,请参阅Amazon::KinesisFirehose:: DeliveryStream。
-