目标设置 - Amazon Kinesis Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

目标设置

本主题介绍传输流的目标设置。

选择 Amazon S3 作为目标

您必须指定以下设置才能使用 Amazon S3 作为 Kinesis Data Firehose 传输流的目的地:

  • 输入以下字段的值:

    S3 bucket

    请选择一个您拥有的用于接收流数据的 S3 存储桶。您可以创建一个新 S3 存储桶或选择现有的 S3 存储桶。

    可选 S3 bucket prefix

    如果不启用动态分区,这是一个可选字段。如果您选择启用动态分区,则必须为 Kinesis Data Firehose 指定 S3 错误存储桶前缀,以便在错误情况下将数据传输到 Amazon S3 时使用。如果 Kinesis Data Firehose 无法对传入的数据进行动态分区,那么这些数据记录将传送到此 S3 错误存储桶前缀。有关详细信息,请参阅Amazon S3 对象名称格式Amazon S3 对象的自定义前缀

    动态分区

    选择Enabled (已启用)以启用和配置动态分区。

    多记录去聚

    这是解析传输流中的记录并根据有效的 JSON 或指定的新行分隔符分隔它们的过程。

    如果将多个事件、日志或记录聚合到一个 PutRecord 和 PutRecordBatch API 调用中,仍然可以启用和配置动态分区。使用聚合数据,启用动态分区时,Kinesis Data Firehose 会解析记录并在每次 API 调用中查找多个有效的 JSON 对象。当将交付流配置为源时,您还可以使用 Kinesis 生产器库 (KPL) 中的内置聚合。数据分区功能在数据进行去聚合后执行。因此,每次 API 调用中的每条记录都可以传送到不同的 Amazon S3 前缀。在数据分区功能之前,您还可以利用 Lambda 函数集成来执行任何其他去聚或任何其他转换。

    重要

    如果数据已聚合,则只有在执行数据分解之后才能应用动态分区。因此,如果您对聚合数据启用动态分区,则必须选择Enabled (已启用)以启用多记录分解。

    Kinesis Data Firehose 交付流按以下顺序执行以下处理步骤:KPL (protobuf) 去聚、Lambda 处理、JSON 去聚合、数据分区、数据格式转换和 Amazon S3 交付。[内部:在附录中添加 UX 并附加处理流程图]

    多记录去累类型

    如果启用了多记录分解,则必须为 Kinesis Data Firehose 指定对数据进行分类的方法。使用下拉菜单选择JSON或者分隔符.

    新行分隔符

    启用动态分区时,您可以将传输流配置为在传送到 Amazon S3 的对象中的记录之间添加新的行分隔符。为此,请选择Enabled (已启用). 要不在传送到 Amazon S3 的对象中的记录之间添加新的行分隔符,请选择Disabled.

    内联解析

    这是动态分区绑定到 Amazon S3 的数据的受支持的机制之一。要使用内联解析对数据进行动态分区,必须指定要用作分区键的数据记录参数,并为每个指定的分区键提供一个值。选择Enabled (已启用)以启用和配置内联解析。

    重要

    如果你指定了AmazonLambda 函数在以上用于转换源记录的步骤中,您可以使用此函数对绑定到 S3 的数据进行动态分区,还可以使用内联解析创建分区密钥。使用动态分区,您可以使用内联解析或Amazon用于创建分区密钥的 Lambda 函数。或者你可以同时使用内联解析和你的AmazonLambda 函数同时创建分区密钥。

    动态分区密钥

    您可以使用密钥字段来指定要用作动态分区键的数据记录参数,以及用于生成动态分区键值的 jq 查询。Kinesis Data Firehose 仅支持 jq 1.6。您可以指定最多 50 个动态分区密钥。为了成功配置传输流的动态分区,您必须为动态分区键值输入有效的 jq 表达式。

    Internal S3 bucket prefix

    启用和配置动态分区时,必须指定 Kinesis Data Firehose 将分区数据传送到的 S3 存储桶前缀。

    为了正确配置动态分区,S3 存储桶前缀的数量必须与指定分区密钥的数量相同。

    您可以使用内联解析或使用指定的方式对源数据进行分区AmazonLambda 函数。如果你指定了AmazonLambda 函数要为源数据创建分区密钥,您必须使用以下格式手动输入 S3 存储桶前缀值:“partitionKeyFromlambda: KeyID”。如果您使用内联解析为源数据指定分区密钥,则可以使用以下格式手动输入 S3 存储桶预览值:“partitionKeyFromQuery: KeyID” 或者您可以选择应用动态分区密钥按钮可使用动态分区键/值对自动生成 S3 存储桶前缀。在使用内联解析或者对数据进行分区时AmazonLambda,您还可以在 S3 存储桶前缀中使用以下表达式表单:! {namespaces: value},其中命名空间可以是 paritionKeyFROM 查询或来自 Lambda 的 partitionKey。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

    S3 压缩和加密

    选择 GZIP、Snappy、Zip 或 Hadoop 兼容 Snappy 数据压缩,也可以选择不使用数据压缩。Snappy、Zip 和 Hadoop 兼容 Snappy 压缩对以 Amazon Redshift 作为目标的传输流不可用。

    Kinesis Data Firehose 支持 Amazon S3 服务器端加密,AmazonKey Management Service (AmazonKMS),用于加密 Amazon S3 中的传输数据。您可以选择不加密数据,也可以选择使用列表中的密钥进行加密。Amazon你拥有的 KMS 密钥。有关更多信息,请参阅 。使用服务器端加密保护数据AmazonKMS 托管密钥 (SSE-KMS).

选择作为目标的 Amazon Redshift

本节介绍了将 Amazon Redshift 用作交付流目的地的设置。

  • 输入以下字段的值:

    集群

    S3 存储桶数据复制到的 Amazon Redshift 集群。将 Amazon Redshift 集群配置为可公开访问并取消阻止 Kinesis Data Firehose IP 地址。有关更多信息,请参阅授予 Kinesis Data Firehose 访问 Amazon Redshift 目标的权限

    用户名

    具有访问 Amazon Redshift 集群权限的 Amazon Redshift 用户。此用户必须拥有 Amazon RedshiftINSERT允许将数据从 S3 存储桶复制到 Amazon Redshift 集群中的数据。

    Password

    有权访问集群的用户的密码。

    数据库

    将数据复制到其中的 Amazon Redshift 数据库。

    将数据复制到其中的 Amazon Redshift 表。

    (可选) 数据复制到的表的特定列。如果 Amazon S3 对象中定义的列数少于 Amazon Redshift 表中的列数,请使用该选项。

    Internal S3 目标

    Kinesis Data Firehose 先将数据传输到您的 S3 存储桶,然后发出 Amazon Redshift。COPY将数据加载到 Amazon Redshift 集群的命令。请指定一个您拥有的用于接收流数据的 S3 存储桶。创建新的 S3 存储桶或选择您当前拥有的存储桶。

    Kinesis Data Firehose 在将数据从 S3 存储桶加载到 Amazon Redshift 集群后不会删除 S3 存储桶中的数据。您可以使用生命周期配置管理 S3 存储桶中的数据。有关更多信息,请参阅 。对象生命周期管理中的Amazon Simple Storage Service 用户指南.

    Internal S3 前缀

    (可选)要对 Amazon S3 对象使用默认前缀,请将此选项留空。Kinesis Data Firehose 会自动在” 中使用前缀YYYY/MM/dd/HH“传输的 Amazon S3 对象的 UTC 时间格式。您可以将此前缀添加到开头。有关更多信息,请参阅Amazon S3 对象名称格式

    COPY options

    您可以在 Amazon Redshift 中指定的参数COPY命令。您可以根据自己的配置情况酌情使用这些参数。例如,”GZIP“如果启用了 Amazon S3 数据压缩,则为必填项。 "REGION“如果您的 S3 存储桶不在同一个,则需要Amazon作为 Amazon Redshift 集群的区域。有关更多信息,请参阅 。COPY中的Amazon Redshift 数据库开发人员指南.

    COPY command

    Amazon RedshiftCOPY命令。有关更多信息,请参阅 。COPY中的Amazon Redshift 数据库开发人员指南.

    Retry duration

    将数据时,允许 Kinesis Data Firehose 重试的持续时间 (0—7200 秒)COPY到您的 Amazon Redshift 集群失败。Kinesis Data Firehose 每 5 分钟重试,直到重试持续时间结束。如果将重试持续时间设置为 0(零)秒,Kinesis Data Firehose 不会在COPY命令失败。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

    S3 压缩和加密

    选择 GZIP 或不压缩数据。

    Kinesis Data Firehose 支持 Amazon S3 服务器端加密,AmazonKey Management Service (AmazonKMS),用于加密 Amazon S3 中的传输数据。您可以选择不加密数据,也可以选择使用列表中的密钥进行加密。Amazon你拥有的 KMS 密钥。有关更多信息,请参阅 。使用服务器端加密保护数据AmazonKMS 托管密钥 (SSE-KMS).

选择作为目标的 OpenSearch 服务

本部分介绍将 OpenSearch 服务用于您的目标的选项。

  • 输入以下字段的值:

    OpenSearch 服务域

    将数据传输到的 OpenSearch 服务域。

    索引

    将数据索引到您的 OpenSearch 服务集群时使用的 OpenSearch 服务索引名称。

    Index rotation

    选择是否轮换 OpenSearch Service 索引以及轮换一次。如果启用索引轮换,Kinesis Data Firehose 会在指定的索引名称后面追加相应的时间戳并轮换。有关更多信息,请参阅针对 OpenService 目标的索引轮换

    Type

    将数据索引到您的 OpenSearch 服务集群时使用的 OpenSearch 服务类型名称。对于 Elasticsearch 7.x 和 OpenSearch 1.x,每个索引只能有一个类型。如果您尝试为已具有其他类型的现有索引指定新类型,Kinesis Data Firehose 会在运行时返回错误。

    对于 Elasticsearch 7.x,请将此字段留空。

    Retry duration

    对 OpenSearch 服务集群的索引请求失败时,允许 Kinesis Data Firehose 重试的持续时间(0—7200 秒)。Kinesis Data Firehose 每 5 分钟重试,直到重试持续时间结束。如果将重试持续时间设置为 0(零)秒,则 Kinesis Data Firehose 不会在索引请求失败时重试。

    目标 VPC 连接

    如果您的 OpenSearch 服务域位于私有 VPC 中,请使用此部分指定该 VPC。还要指定希望 Kinesis Data Firehose 在将数据发送到 OpenSearch 服务域时使用的子网和子组。您可以使用 DOMA OpenSearch 服务使用的相同安全组或其他安全组。如果指定了不同的安全组,请确保这些安全组允许到 OpenSearch 服务域的安全组的出站 HTTPS 流量。还要确保 OpenSearch Service 域的安全组允许来自您在配置传输流时指定的安全组的 HTTPS 流量。如果您对传输流和 OpenSearch 服务域使用相同的安全组,请确保安全组的入站规则允许 HTTPS 流量。有关安全组规则的更多信息,请参阅安全组规则在 Amazon VPC 文档中。

    缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

选择 HTTP 终端节点作为目标

本部分介绍使用的选项HTTP 终端节点为您的目标。

重要

如果您选择 HTTP 终端节点作为目的地,请查看并按照中的说明操作附录-HTTP 终端节点交付请求和响应规范.

  • 为以下字段提供值:

    HTTP 端点名称-可选

    为 HTTP 端点指定用户友好名称。例如:My HTTP Endpoint Destination

    HTTP 终端节点 URL

    按以下格式指定 HTTP 端点的 URL:https://xyz.httpendpoint.com. URL 必须是 HTTPS URL。

    可选访问密钥

    请与终端节点所有者联系以获取访问密钥(如果需要),以启用从 Kinesis Data Firehose 向其终端节点传输数据。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试将数据发送到所选 HTTP 端点的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

    重要

    对于 HTTP 终端节点目标,如果您在 CloudWatch Logs 中看到来自目标终端节点的 413 个响应代码,请降低交付流上的缓冲提示大小,然后重试。

选择 Datadog 作为目标

本部分介绍使用的选项Datadog为您的目标。有关 Datadog 的更多信息,请参阅https://docs.datadoghq.com/integrations/amazon_web_services/.

  • 为以下字段提供值:

    HTTP 终端节点 URL

    从下拉菜单中的以下选项中选择 HTTP 端点 URL:

    • Datadog 日志-美国

    • Datadog 日志-欧盟

    • Datadog 日志-GOV

    • Datadog 指标-美国

    • Datadog 指标-欧盟

    API 密钥

    联系 Datadog 以获取启用从 Kinesis Data Firehose 向此端点传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将其发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试将数据发送到所选 HTTP 端点的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

选择 Dynatrace 作为目标

本部分介绍使用的选项Dynatrace为您的目标。有关更多信息,请参阅 。https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/.

  • 为以下字段提供值:

    HTTP 终端节点 URL

    选择 HTTP 端点 URL (美国 DynatraceEU Dynatrace,或者Dynatrace从下拉菜单中。

    API 令牌

    生成从 Kinesis Data Firehose 传输数据所需的 Dynatrace API 令牌。有关更多信息,请参阅 。https://www.dynatrace.com/support/help/dynatrace-api/basics/dynatrace-api-authentication/.

    API 网址

    提供您的 Dynatrace 环境的 API URL。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试将数据发送到所选 HTTP 端点的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

    重要

    使用 Dynatrace 作为指定目标时,必须至少指定一个参数键/值对。你必须命名这个密钥dt-url然后将其值设置为 Dynatrace 环境的 URL(例如,https://xyzab123456.dynatrace.live.com)。然后,您可以选择指定其他参数键值对,并将它们设置为自定义名称和您选择的值。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

选择 LogicMonitor 作为目标

本部分介绍使用的选项LogicMonitor为您的目标。有关更多信息,请参阅 。https://www.logicmonitor.com.

  • 为以下字段提供值:

    HTTP 终端节点 URL

    按以下格式指定 HTTP 终端节点的 URL:https://ACCOUNT.logicmonitor.com

    API 密钥

    请联系 LogicMonitor 获取所需的 API 密钥,以便从 Kinesis Data Firehose 向此端点传输数据。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试将数据发送到所选 HTTP 端点的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

选择 MongoDB 云作为目标

本部分介绍使用的选项MongoDB 云为您的目标。有关更多信息,请参阅 。https://www.mongodb.com.

  • 为以下字段提供值:

    MongoDB Realm webhook URL

    按以下格式指定 HTTP 端点的 URL:https://webhooks.mongodb-realm.com. URL 必须是 HTTPS URL。

    API 密钥

    请联系 MongoDB Cloud 以获取启用从 Kinesis Data Firehose 向此端点传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的第三方提供商发送数据的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

为您的目标选择新遗迹

本部分介绍使用的选项New Delic为您的目标。有关更多信息,请参阅 。https://newrelic.com.

  • 为以下字段提供值:

    HTTP 终端节点 URL

    从下拉菜单中的以下选项中选择 HTTP 端点 URL:

    • 新遗物日志-美国

    • 新的遗物指标-美国

    • 新的遗物指标-欧盟

    API 密钥

    从 New Relic One 帐户设置中输入许可证密钥(40 个字符的十六进制字符串)。要启用从 Kinesis Data Firehose 向此端点传输数据,需要使用此 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向新遗物 HTTP 端点发送数据的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。

选择 Splunk 作为目标

本部分介绍使用 Splunk 作为目标的选项。

  • 为以下字段提供值:

    Splunk cluster endpoint

    要确定终端节点,请参阅 Splunk 文档中的配置 Amazon Kinesis Firehose 以将数据发送到 Splunk 平台

    Splunk endpoint type

    在大多数情况下,请选择 Raw endpoint。如果已使用 Amazon Lambda 预处理您的数据,以便按事件类型将数据发送到不同的索引,请选择 Event endpoint。有关要使用的终端节点的信息,请参阅 Splunk 文档中的配置 Amazon Kinesis Firehose 以将数据发送到 Splunk 平台

    身份验证令牌

    要设置可从 Kinesis Data Firehose 接收数据的 Splunk 终端节点,请参阅Amazon Kinesis Firehose 的 Splunk 插件的安装和配置概述在 Splunk 文档中。保存在为该传输流设置终端节点时从 Splunk 获取的令牌,并在此处添加该令牌。

    HEC acknowledgement timeout

    指定 Kinesis Data Firehose 等待 Splunk 确认索引的时间。如果 Splunk 在到达超时前未发送确认,Kinesis Data Firehose 将其视为数据传输失败。然后,Kinesis Data Firehose 重试或将数据备份到 Amazon S3 存储桶中,具体取决于您设置的重试持续时间值。

    Retry duration

    指定 Kinesis Data Firehose 重试向 Splunk 发送数据的时间。

    发送数据后,Kinesis Data Firehose 会先等待 Splunk 确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 Splunk 时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 Splunk 的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

选择 Suma Logic 作为目标

本部分介绍使用的选项Sumo Logic为您的目标。有关更多信息,请参阅 。https://www.sumologic.com.

  • 为以下字段提供值:

    HTTP 终端节点 URL

    按以下格式指定 HTTP 端点的 URL:https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URL 必须是 HTTPS URL。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择GZIP或者Disabled启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向新遗物发送数据的时间。

    发送数据后,Kinesis Data Firehose 会先等待 HTTP 终端节点确认。如果出现错误或在确认超时期限内没有收到确认,Kinesis Data Firehose 将启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。然后,Kinesis Data Firehose 将其视为数据传输失败,并将数据备份到 Amazon S3 存储桶中。

    每次 Kinesis Data Firehose 将数据发送到 HTTP 终端节点时,无论是初始尝试还是重试,它都会重新启动确认超时计数器并等待来自 HTTP 终端节点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到它收到确认或到达确认超时期限。如果确认超时,Kinesis Data Firehose 将确定在重试计数器中是否有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    可选参数

    Kinesis Data Firehose 在每次 HTTP 调用中都包含这些键值对。这些参数可帮助您标识和组织目标。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓冲该数据。目的地的推荐缓冲区大小因服务提供商而异。