Amazon Kinesis Data Firehose
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

使用示例数据测试您的传输流

您可以使用 AWS 管理控制台 提取模拟的股票代码数据。该控制台在您的浏览器中运行脚本,以将示例记录放入您的 Kinesis Data Firehose 传输流中。这能让您测试传输流的配置,而无需生成测试数据。

下面是模拟数据的一个示例:

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

请注意,当传输流传送数据时,会产生标准 Amazon Kinesis Data Firehose 费用,而在生成数据时没有费用。要停止产生这些费用,您可以随时从控制台停止示例数据流。

先决条件

在您开始之前,请先创建传输流。有关更多信息,请参阅创建 Amazon Kinesis Data Firehose 传输流

将 Amazon S3 作为目标的测试

可以执行以下步骤,以便将 Amazon Simple Storage Service (Amazon S3) 作为目标以测试传输流。

使用 Amazon S3 测试传输流

  1. 通过以下网址打开 Kinesis Data Firehose 控制台:https://console.amazonaws.cn/firehose/

  2. 选择所需传输流。

  3. Test with demo data 下,选择 Start sending demo data 生成示例股票代码数据。

  4. 按照屏幕上的说明验证是否正在将数据传输到 S3 存储桶。请注意,根据存储桶的缓冲配置,可能需要几分钟时间,新对象才能显示在您的存储桶中。

  5. 在测试完成后,请选择 Stop sending demo data 停止产生使用费用。

将 Amazon Redshift 作为目标的测试

可以执行以下步骤,以便将 Amazon Redshift 作为目标以测试传输流。

使用 Amazon Redshift 测试传输流

  1. 传输流要求在 Amazon Redshift 集群中具有一个表。通过 SQL 接口连接到 Amazon Redshift,并运行以下语句创建一个接受示例数据的表。

    create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
  2. 通过以下网址打开 Kinesis Data Firehose 控制台:https://console.amazonaws.cn/firehose/

  3. 选择所需传输流。

  4. 编辑传输流的目标详细信息以指向新创建的 firehose_test_table 表。

  5. Test with demo data 下,选择 Start sending demo data 生成示例股票代码数据。

  6. 按照屏幕上的说明验证是否正在将数据传输到您的表。请注意,根据缓冲配置,可能需要几分钟时间,新行才能显示在您的表中。

  7. 在测试完成后,请选择 Stop sending demo data 停止产生使用费用。

  8. 编辑 Kinesis Data Firehose 传输流的目标详细信息以指向另一个表。

  9. (可选) 删除 firehose_test_table 表。

将 Amazon ES 作为目标的测试

可以执行以下步骤,以便将 Amazon Elasticsearch Service (Amazon ES) 作为目标以测试传输流。

使用 Amazon ES 测试传输流

  1. 通过以下网址打开 Kinesis Data Firehose 控制台:https://console.amazonaws.cn/firehose/

  2. 选择所需传输流。

  3. Test with demo data 下,选择 Start sending demo data 生成示例股票代码数据。

  4. 按照屏幕上的说明验证是否正在将数据传输到 Amazon ES 域。有关更多信息,请参阅 Amazon Elasticsearch Service 开发人员指南 中的在 Amazon ES 域中搜索文档

  5. 在测试完成后,请选择 Stop sending demo data 停止产生使用费用。

将 Splunk 作为目标的测试

可以执行以下步骤,以便将 Splunk 作为目标以测试传输流。

使用 Splunk 测试传输流

  1. 通过以下网址打开 Kinesis Data Firehose 控制台:https://console.amazonaws.cn/firehose/

  2. 选择所需传输流。

  3. Test with demo data 下,选择 Start sending demo data 生成示例股票代码数据。

  4. 检查是否正在将数据传输到 Splunk 索引。Splunk 中的示例搜索词为 sourcetype="aws:firehose:json"index="name-of-your-splunk-index"。有关如何在 Splunk 中搜索事件的更多信息,请参阅 Splunk 文档中的搜索手册

    如果在您的 Splunk 索引中未显示测试数据,请检查 Amazon S3 存储桶以查找失败的事件。另请参阅数据未传输到 Splunk

  5. 在完成测试时,请选择 Stop sending demo data 以停止产生使用费用。