记录转换和格式转换 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

记录转换和格式转换

配置 Amazon Data Firehose 以转换和转换您的记录数据。

  • 如果您选择 Amazon MSK 作为传送流的来源:

    1. 使用 Amazon Lambda 转换源记录部分中,提供以下字段的值:

      数据转换

      要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。

      要指定 Lambda 函数以供 Firehose 在传入数据之前调用并用于在传入数据之前对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含 Firehose 所需的状态模型。有关更多信息,请参阅 亚马逊数据 Firehose 数据转换

    2. Convert record format (转换记录格式) 部分,为以下字段提供值:

      Record format conversion (记录格式转换)

      要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。

      要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个Amazon Glue表,其中包含您希望 Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Firehose 中转换您的输入记录格式

      有关如何使用设置记录格式转换的示例Amazon CloudFormation,请参阅Amazon::KinesisFirehose:: DeliveryStream

  • 如果您选择适用于 Apache Flink 的托管服务或 Direct PUT 作为传输流的来源,请在 “源设置” 部分中:

    1. 在 “转换记录” 下,选择以下选项之一:

      1. 如果您的目标是 Amazon S3 或 Splunk,请在 “解压缩源记录 Amazon CloudWatch 日志” 部分,选择 “开启解压缩”。

      2. 使用 Amazon Lambda 转换源记录部分中,提供以下字段的值:

        数据转换

        要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。

        要指定 Lambda 函数,让 Amazon Data Firehose 在传入的数据之前调用并使用该函数对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含亚马逊 Data Firehose 所需的状态模型。有关更多信息,请参阅 亚马逊数据 Firehose 数据转换

    2. Convert record format (转换记录格式) 部分,为以下字段提供值:

      Record format conversion (记录格式转换)

      要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。

      要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个Amazon Glue表,其中包含您希望 Amazon Data Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Firehose 中转换您的输入记录格式

      有关如何使用设置记录格式转换的示例Amazon CloudFormation,请参阅Amazon::KinesisFirehose:: DeliveryStream