目的地设置 - Amazon Kinesis Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

目的地设置

本主题的值。

选择Amazon S3 作为您的目的地

您必须指定以下设置才能使用 Amazon S3 作为 Kinesis Data Firehose 传输流的目的地:

  • 输入以下字段的值:

    S3 bucket

    请选择一个您拥有的用于接收流数据的 S3 存储桶。您可以创建一个新 S3 存储桶或选择现有的 S3 存储桶。

    S3 桶前缀-可选

    如果您未启用动态分区,则这是一个可选字段。如果您选择启用动态分区,则必须指定 S3 错误存储段前缀,以便 Kinesis Data Firehose 在错误条件下向 Amazon S3 传输数据时使用。如果 Kinesis Data Firehose 无法对传入的数据进行动态分区,则这些数据记录将传送到此 S3 错误存储段前缀。有关详细信息,请参阅Amazon S3 对象名称格式Amazon S3 对象的自定义前缀

    动态分区

    选择 “启用” 以启用和配置动态分区。

    多记录去聚合

    这是解析交付流中的记录并根据有效的 JSON 或指定的新行分隔符将它们分离的过程。

    如果您将多个事件、日志或记录聚合到单个 PutRecord 和 PutRecordBatch API 调用中,您仍然可以启用和配置动态分区。使用聚合数据,当您启用动态分区时,Kinesis Data Firehose 会解析记录,并在每个 API 调用中查找多个有效的 JSON 对象。将传输流配置为 Kinesis Data Stream 作为源时,您还可以使用 Kinesis Producer 库 (KPL) 中的内置聚合。数据分区功能在数据分解后执行。因此,每个 API 调用中的每条记录都可以传送到不同的 Amazon S3 前缀。在数据分区功能之前,您还可以利用 Lambda 函数集成来执行任何其他分解聚合或任何其他转换。

    重要

    如果您的数据是聚合的,则只有在执行数据分解后才能应用动态分区。因此,如果您对聚合数据启用动态分区,则必须选择 “启用” 才能启用多记录分解。

    Kinesis Data Firehose 交付流按以下顺序执行以下处理步骤:KPL (protobuf) 解聚合、JSON 或分隔符解聚、Lambda 处理、数据分区、数据格式转换和 Amazon S3 交付。

    多记录分解类型

    如果您启用了多记录分解,则必须指定 Kinesis Data Firehose 对数据进行分解的方法。使用下拉菜单选择 JSON分隔符

    新的行分隔符

    启用动态分区后,您可以将传输流配置为在传送到 Amazon S3 的对象中的记录之间添加新的行分隔符。为此,请选择 “启用”。要不在传送到 Amazon S3 的对象的记录之间添加新的行分隔符,请选择 “禁用”。

    行内解析

    这是支持的动态分区绑定到 Amazon S3 的数据的机制之一。要使用内联解析对数据进行动态分区,必须指定用作分区键的数据记录参数,并为每个指定的分区键提供一个值。选择 “启用” 以启用和配置内联解析。

    重要

    如果您在上述步骤中指定了Amazon Lambda 函数来转换源记录,则可以使用此函数对绑定到 S3 的数据进行动态分区,并且您仍然可以使用内联解析创建分区密钥。通过动态分区,您可以使用内联解析或Amazon Lambda 函数来创建分区密钥。或者,您可以同时使用内联解析和Amazon Lambda 函数来创建分区密钥。

    动态分区密钥

    您可以使用 Key 和 V alue 字段指定用作动态分区键的数据记录参数,并使用 jq 查询来生成动态分区键值。Kinesis Data Firehose 仅支持 jq 1.6。您最多可指定 50 个动态分区密钥。您必须为动态分区键值输入有效的 jq 表达式,才能成功地为交付流配置动态分区。

    S3 桶前缀

    启用和配置动态分区时,必须指定 Kinesis Data Firehose 要向其传送分区数据的 S3 存储桶前缀。

    为了正确配置动态分区,S3 存储桶前缀的数量必须与指定分区密钥的数量相同。

    您可以使用行内解析或指定的Amazon Lambda 函数对源数据进行分区。如果您指定了Amazon Lambda 函数来为源数据创建分区密钥,则必须使用以下格式手动键入 S3 存储桶前缀值:“partitionKeyFromLambda: keyID”。如果您使用内联解析为源数据指定分区密钥,则可以使用以下格式手动键入 S3 存储桶预览值:“partitionKeyFromquery: keyID”,也可以选择 “应用动态分区密钥” 按钮使用动态分区键/值对自动生成 S3 存储桶前缀。在使用内联解析或Amazon Lambda 对数据进行分区时,您还可以在您的 S3 存储桶前缀中使用以下表达式表单:! {namespace: value},其中命名空间可以是 partitionKeyFrom查询或 partitionKeyFrom Lambda。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

    S3 压缩和加密

    选择 GZIP、Snappy、Zip 或 Hadoop 兼容的 Snappy 数据压缩,或者不进行数据压缩。兼容 Snappy、Zip 和 Hadoop 的 Snappy 压缩不适用于以Amazon Redshift ft 为目的地的传送流。

    Kinesis Data Firehose 支持具有 KAmazon ement Service (AmazonKMS) 加密的 Amazon S3 服务器端加密。您可以选择不加密数据,也可以选择使用您拥有的 KMS 密钥列表中的密Amazon钥进行加密。有关更多信息,请参阅使用具有Amazon KMS 托管式密钥的服务器端加密 (SSE-KMS) 保护数据

选择Amazon Redshift ft 作为您的目的地

本节介绍使用Amazon Redshift ft 作为传输目的地的设置。

  • 输入以下字段的值:

    集群

    将 S3 存储桶数据复制到的 Amazon Redshift 集群。将 Amazon Redshift 集群配置为可公开访问并解除封锁 Kinesis Data Firehose IP 地址。有关更多信息,请参阅授予 Kinesis Data Firehose 访问Amazon Redshift ft 目的地的

    用户名

    有权访问 AAmazon Redshift Amazon Redshift 用户必须具有 Amazon RedshiftINSERT 权限以从 S3 存储桶复制数据到Amazon Redshift 集群。

    Password

    有权访问集群的用户的密码。

    数据库

    将数据复制到的Amazon Redshift ft 数据库。

    将数据复制到的Amazon Redshift ft 表。

    (可选) 数据复制到的表的特定列。如果您的 Amazon S3 对象中定义的列数小于 Amazon Redshift 表中的列数,请使用此选项。

    中间 S3 目的地

    Kinesis Data Firehose 首先将你的数据传输到你的 S3 存储桶,然后发出 Amazon RedCOPY shift 命令将数据加载到你的 Amazon Redshift 集群中。请指定一个您拥有的用于接收流数据的 S3 存储桶。创建新的 S3 存储桶或选择您当前拥有的存储桶。

    将数据加载到Amazon Redshift ft 集群后,Kinesis Data Firehose 不会将其从 S3 存储桶中删除。您可以使用生命周期配置管理 S3 存储桶中的数据。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的对象生命周期管理

    中间 S3 前缀

    (可选)要使用 Amazon S3 对象的默认前缀,请将此选项留空。Kinesis Data Firehose 对已交付的 Amazon S3 对象自动使用YYYY/MM/dd/HH “” 格式的前缀。您可以将此前缀添加到开头。有关更多信息,请参阅Amazon S3 对象名称格式

    COPY options

    您可以在 Amazon RedCOPY shift 命令中指定的参数。您可以根据自己的配置情况酌情使用这些参数。例如,如果启用了 Amazon S3 数据压缩,则需要GZIP “”。 如果您的 S3 存储桶与 Amazon Redshift 集群不在同一个Amazon区域时,需要 “REGION”。有关更多信息,请参阅《Amazon Redshift 数据库开发人员指南》中的 COPY

    COPY command

    Amazon Redshift ftCOPY 命令。有关更多信息,请参阅《Amazon Redshift 数据库开发人员指南》中的 COPY

    Retry duration

    如果您的 Amazon Redshift 集群的数据出现故障,Kinesis Data Firehose 重试的持续时间(0—7200 秒)。COPYKinesis Data Firehose 每 5 分钟重试一次,直到重试持续时间结束。如果您将重试持续时间设置为 0(零)秒,则 Kinesis Data Firehose 不会在COPY命令失败时重试。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

    S3 压缩和加密

    选择 GZIP 或不进行数据压缩。

    Kinesis Data Firehose 支持具有 KAmazon ement Service (AmazonKMS) 加密的 Amazon S3 服务器端加密。您可以选择不加密数据,也可以选择使用您拥有的 KMS 密钥列表中的密Amazon钥进行加密。有关更多信息,请参阅使用具有Amazon KMS 托管式密钥的服务器端加密 (SSE-KMS) 保护数据

为您的目的地选择 OpenSearch 服务

本节介绍在目的地使用 OpenSearch 服务的选项。

  • 输入以下字段的值:

    OpenSearch 服务域

    您的数据传送到的 OpenSearch 服务域。

    索引

    将数据索引到 OpenSearch 服务集群时使用的 OpenSearch 服务索引名称。

    Index rotation

    选择是否应轮换 OpenSearch 服务索引以及轮换频率。如果启用索引轮换,Kinesis Data Firehose 会将相应的时间戳附加到指定的索引名称并进行轮换。有关更多信息,请参阅 OpenSearch 服务目标的索引轮换

    Type

    将数据索引到 OpenSearch 服务集群时使用的 OpenSearch 服务类型名称。对于 Elasticsearcarch7. OpenSearch x 和1.x,每个索引只能有一个类型。如果您尝试为已具有其他类型的现有索引指定新类型,Kinesis Data Firehose 会返回错误。

    对于 Elasticsearch 7.x,请将此字段留空。

    Retry duration

    如果对您的 OpenSearch 服务集群的索引请求失败,Kinesis Data Firehose 重试的持续时间(0—7200 秒)。Kinesis Data Firehose 每 5 分钟重试一次,直到重试持续时间结束。如果您将重试持续时间设置为 0(零)秒,Kinesis Data Firehose 不会在索引请求失败时重试。

    目标 VPC 连接

    如果您的 OpenSearch 服务域位于私有 VPC 中,请使用此部分指定该 VPC。还要指定您希望 Kinesis Data Firehose 在将数据发送到您的 OpenSearch服务域时使用的子网和子组。您可以使用与doma OpenSearch Servicein使用的相同安全组或不同的安全组。如果指定不同的安全组,请确保这些安全组允许到 OpenSearch 服务域的安全组的出站 HTTPS 流量。还要确保 OpenSearch 服务域的安全组允许您配置传输流时指定的安全组的 HTTPS 流量。如果您对传输流和 OpenSearch 服务域使用相同的安全组,请确保安全组的入站规则允许 HTTPS 流量。有关安全组规则的更多信息,请参阅 Amazon VPC 文档中的安全组规则

    缓冲提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

为您的目的地选择 OpenSearch 无服务器

本节介绍在目的地使用S OpenSearch erverless的选项。

  • 输入以下字段的值:

    OpenSearch 无服务器收集

    一组 OpenSearch 无服务器索引的终端节点,您的数据将传送到这些索引。

    索引

    将数据索引到 OpenSearch 无服务器集合时使用的 OpenSearch 无服务器索引名称。

    目标 VPC 连接

    如果您的 OpenSearch 无服务器集合位于私有 VPC 中,请使用此部分指定该 VPC。还要指定您希望 Kinesis Data Firehose 在将数据发送到您的 OpenSearch 无服务器集合时使用的子网和子组。

    Retry duration

    如果对您的 OpenSearch 无服务器集合的索引请求失败,Kinesis Data Firehose 重试的持续时间(0—7200 秒)。Kinesis Data Firehose 每 5 分钟重试一次,直到重试持续时间结束。如果您将重试持续时间设置为 0(零)秒,Kinesis Data Firehose 不会在索引请求失败时重试。

    缓冲提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

为您的目的地选择 HTTP 终端节点

本节介绍在目的地使用 HTTP 终端节点的选项。

重要

如果您选择 HTTP 终端节点作为目标,请查看并按照中的说明进行操作附录-HTTP 端点交付请求和响应规范

  • 以下的:

    HTTP 端点名称-可选

    为 HTTP 端点指定一个用户友好名称。例如,My HTTP Endpoint Destination

    HTTP 端点网址

    采用以下格式指定 HTTPP 终端的URL:https://xyz.httpendpoint.com。该URL必须是 HTTPPPPPS。

    访问密钥-可选

    联系终端所有者获取访问密钥(如果需要),以便从 Kinesis Data Firehose 向其端点传输数据。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的 HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

    重要

    对于 HTTP 终端节点目标,如果您在 CloudWatch 日志中看到来自目标终端节点的 413 个响应代码,请降低传输流上的缓冲提示大小,然后重试。

选择 Datadog 作为您的目的地

本节介绍使用 Datadog 前往目的地的选项。有关 Datadog 的更多信息,请参阅 https://docs.datadoghq.com/integrations/amazon_web_services/

  • 以下的:

    HTTP 端点网址

    从下拉菜单的以下选项中选择 HTTP 端点 URL:

    • Datadog 日志-US1

    • Datadog 日志-US5

    • Datadog 日志-欧盟

    • Datadog 日志-GOV

    • Datadog 指标——美国

    • Datadog 指标——欧盟

    API 密钥

    联系 Datadog 获取启用从 Kinesis Data Firehose 向该端点传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的 HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

为您的目的地选择 Honeycomb

本节介绍在目的地使用 Honeycomb 的选项。有关 Honeycomb 的更多信息,请参阅 https://docs.honeycomb.io/getting-data-in /metricsaws-cloudwatch-metrics//

  • 以下的:

    蜂窝Kinesis 点

    按以下格式指定 HTTP 端点的 URL:https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    API 密钥

    联系 Honeycomb 获取从 Kinesis Data Firehose 向该端点传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP 以启用请求的内容编码。这是蜂窝目的地的推荐选项。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的 HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

选择 Coralogix 作为您的目的地

本节介绍使用 Coralogix 前往目的地的选项。有关 Coralogix 的更多信息,请参阅 https://coralogix.com/integrations/aws-firehose

  • 以下的:

    HTTP 端点网址

    从下拉菜单的以下选项中选择 HTTP 端点 URL:

    • Coralogix-美国

    • Coralogix-新加坡

    • Coralogix-爱尔兰

    • Coralogix-印度

    • Coralogix-斯德哥尔摩

    私钥

    联系 Coralogix 获取从 Kinesis Data Firehose 向该端点传输数据所需的私钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP 以启用请求的内容编码。这是 Coralogix 目的地的推荐选项。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的 HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    • applicationName:您运行 Data Firehose 的环境

    • 子系统名称:Data Firehose 集成的名称

    • 计算机的值:正在使用的传输流的名称

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

选择 Dynatrace 作为您的目的地

本节介绍在目的地使用 Dynatrac e 的选项。欲了解更多信息,请参阅 https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services /integrationscloudwatch-metric-streams//

  • 以下的:

    HTTP 端点网址

    从下拉菜单中选择 HTTP 端点网址(Dynatrace USDynatrace EU 或 Dynatrace Global)。

    API 代币

    生成从 Kinesis Data Firehose 传输数据所需的 Dynatrace API 代币。有关更多信息,请参阅 dynatrace-api-authenticationhttps://www.dynatrace.com/support/help/dynatrace-api/basics/

    API 网址

    提供你的 Dynatrace 环境的 API 网址。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的 HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    重要

    使用 Dynatrace 作为您的指定目标时,您必须至少指定一个参数键值对。您必须命名此密钥dt-url并将其值设置为 Dynatrace 环境的 URL(例如https://xyzab123456.dynatrace.live.com)。然后,您可以选择指定其他参数键值对,并将其设置为您选择的自定义名称和值。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

LogicMonitor 为您的目的地选择

本部分介绍将 LogicMonitor 用于您的目标的选项。有关更多信息,请参阅 https://www.logicmonitor.com

  • 以下的:

    HTTP 端点网址

    按以下格式指定 HTTP 端点的 URL:https://ACCOUNT.logicmonitor.com

    API 密钥

    联系 LogicMonitor 以获取启用从 Kinesis Data Firehose 向该端点传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的 HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

选择 Logz.io 作为目的地

本节介绍使用 Logz.io 作为目的地的选项。有关更多信息,请参阅 https://logz.io/

注意

在欧洲(米兰)地区,不支持 Logz.io 作为Amazon Kinesis Data Firehose 目的地。

  • 以下的:

    HTTP 端点网址

    采用以下格式指定 HTTPP 终端的URL:https://listener-aws-metrics-stream-<region>.logz.io/。例如,https://listener-aws-metrics-stream-us.logz.io/。该URL必须是 HTTPPPPPS。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向 Logz.io 发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

选择 MongoDB Cloud 作为您的目的地

本节介绍使用 MongoDB Cloud 作为目的地的选项。有关更多信息,请参阅 https://www.mongodb.com

  • 以下的:

    MongoDB Realm 网络挂接网

    采用以下格式指定 HTTPP 终端的URL:https://webhooks.mongodb-realm.com。该URL必须是 HTTPPPPPS。

    API 密钥

    联系 MongoDB Cloud 获取启用从 Kinesis Data Firehose 向该端点传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向选定的第三方提供商发送数据的时长。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

为您的目的地选择新遗物

本节介绍使用 Ne w Relic 前往目的地的选项。有关更多信息,请参阅 https://newrelic.com

  • 以下的:

    HTTP 端点网址

    从下拉菜单的以下选项中选择 HTTP 端点 URL:

    • 新遗物日志-美国

    • New Relic 指标——美国

    • New Relic 指标——欧盟

    API 密钥

    在 New Relic One 账户设置中输入您的许可证密钥(40 个字符的十六进制字符串)。此 API 密钥是启用从 Kinesis Data Firehose 向该端点传输数据所必需的。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向 New Relic HTTP 端点发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。目的地的推荐缓冲区大小因服务提供商而异。

选择 Splunk 作为目标

本部分介绍使用 Splunk 作为目标的选项。

  • 以下的:

    Splunk cluster endpoint

    要确定终端节点,请参阅 Splunk 文档中的配置 Amazon Kinesis Firehose 以将数据发送到 Splunk 平台

    Splunk endpoint type

    在大多数情况下,请选择 Raw endpoint。如果已使用 Amazon Lambda 预处理您的数据,以便按事件类型将数据发送到不同的索引,请选择 Event endpoint。有关要使用的终端节点的信息,请参阅 Splunk 文档中的配置 Amazon Kinesis Firehose 以将数据发送到 Splunk 平台

    身份验证令牌

    要设置可以从 Kinesis Data Firehose 接收数据的 Splunk 终端节点,请参阅 Splunk 文档中的 Amazon Kinesis Firehose Splunk 插件的安装和配置概述。保存在为该传输流设置终端节点时从 Splunk 获取的令牌,并在此处添加该令牌。

    HEC acknowledgement timeout

    指定 Kinesis Data Firehose 等待 Splunk 的索引确认多长时间。如果 Splunk 未在超时之前发送确认,则 Kinesis Data Firehose 将其视为数据传输失败。然后,Kinesis Data Firehose 会重试数据或将数据备份到您的 Amazon S3 存储桶,具体取决于您设置的重试持续时间值。

    Retry duration

    指定 Kinesis Data Firehose 重试向 Splunk 发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 Splunk 的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 Splunk 发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 Splunk 的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

为目的地选择 Sumo Logic

本节介绍在目的地使用 Sumo Logic 的选项。有关更多信息,请参阅 https://www.sumologic.com

  • 以下的:

    HTTP 端点网址

    采用以下格式指定 HTTPP 终端的URL:https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token。该URL必须是 HTTPPPPPS。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP用以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向 Sumo Logic 发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。Elastic 目标的推荐缓冲区大小因服务提供商而异。

为您的目的地选择 Elastic

本节介绍在目的地使用 Elastic 的选项。

  • 以下的:

    弹性端点 URL

    采用以下格式指定 HTTPP 终端的URL:https://<cluster-id>.es.<region>.aws.elastic-cloud.com。该URL必须是 HTTPPPPPS。

    API 密钥

    联系 Elastic 服务获取从 Kinesis Data Firehose 向其服务传输数据所需的 API 密钥。

    内容编码

    Kinesis Data Firehose 使用内容编码来压缩请求的正文,然后再将请求发送到目标。选择 GZIP(这是默认选择)或 “禁” 以启用/禁用请求的内容编码。

    Retry duration

    指定 Kinesis Data Firehose 重试向 Elastic 发送数据多长时间。

    发送数据后,Kinesis Data Firehose 首先等待 HTTP 端点的确认。如果出现错误或确认未在确认超时期限内到达,Kinesis Data Firehose 会启动重试持续时间计数器。它将不断重试,直到重试持续时间到期。之后,Kinesis Data Firehose 将其视为数据传输故障,并将数据备份到您的 Amazon S3 存储桶。

    每次 Kinesis Data Firehose 向 HTTP 端点发送数据(无论是初次尝试还是重试),它都会重新启动确认超时计数器并等待 HTTP 端点的确认。

    即使重试持续时间到期,Kinesis Data Firehose 仍会等待确认,直到收到确认或达到确认超时期限。如果确认超时,Kinesis Data Firehose 会确定重试计数器是否还有剩余时间。如果有剩余时间,它将再次重试并重复该逻辑,直到收到确认或确定重试时间已到期。

    如果你不希望 Kinesis Data Firehose 重试发送数据,请将此值设置为 0。

    参数-可选

    Kinesis Data Firehose 在每个 HTTP 调用中都包含这些键值对。这些可帮助您的组织资源。

    S3 缓冲区提示

    Kinesis Data Firehose 在将传入数据传输到指定目标之前缓和组织资源。弹性目标的推荐缓冲区大小为 1 MiB。