使用示例数据测试您的 Firehose 直播 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用示例数据测试您的 Firehose 直播

您可以使用 Amazon Web Services Management Console 来提取模拟股票行情数据。控制台在您的浏览器中运行脚本,将示例记录放入您的 Firehose 直播中。这使您无需生成自己的测试数据即可测试 Firehose 直播的配置。

下面是模拟数据的一个示例:

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

请注意,当您的 Firehose 流传输数据时,会收取标准的 Amazon Data Firehose 费用,但在生成数据时不收取任何费用。要停止产生这些费用,您可以随时从控制台停止示例数据流。

先决条件

在开始之前,请创建一个 Firehose 直播。有关更多信息,请参阅创建 Firehose 直播

将 Amazon S3 作为目标进行测试

使用以下步骤使用亚马逊简单存储服务 (Amazon S3) 作为目标来测试您的 Firehose 直播。

使用亚马逊 S3 测试 Firehose 直播
  1. 打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。

  2. 选择 Firehose 直播。

  3. 使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。

  4. 按照屏幕上的说明验证是否正在将数据传输到 S3 存储桶。请注意,根据存储桶的缓冲配置,可能需要几分钟时间,新对象才能显示在您的存储桶中。

  5. 在测试完成后,选择停止发送演示数据即可停止产生使用费用。

将 Amazon Redshift 作为目标进行测试

使用以下步骤使用亚马逊 Redshift 作为目标来测试你的 Firehose 直播。

使用亚马逊 Redshift 测试 Firehose 直播
  1. 你的 Firehose 直播希望你的亚马逊 Redshift 集群中有一个表。通过 SQL 接口连接到 Amazon Redshift,并运行以下语句以创建一个接受示例数据的表。

    create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
  2. 打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。

  3. 选择 Firehose 直播。

  4. 编辑 Firehose 直播的目标详细信息以指向新创建firehose_test_table的表。

  5. 使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。

  6. 按照屏幕上的说明验证是否正在将数据传输到您的表。请注意,根据缓冲配置,可能需要几分钟时间,新行才能显示在您的表中。

  7. 在测试完成后,选择停止发送演示数据即可停止产生使用费用。

  8. 编辑 Firehose 直播的目标详细信息以指向另一张表。

  9. (可选)删除 firehose_test_table 表。

使用 OpenSearch 服务作为目标进行测试

使用以下步骤以亚马逊 OpenSearch 服务为目标来测试您的 Firehose 直播。

使用服务测试 Firehose 直播 OpenSearch
  1. 打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。

  2. 选择 Firehose 直播。

  3. 使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。

  4. 按照屏幕上的说明验证数据是否已传送到您的 OpenSearch 服务域。有关更多信息,请参阅《亚马逊 OpenSearch 服务开发者指南》中的在 OpenSearch 服务域中搜索文档

  5. 在测试完成后,选择停止发送演示数据即可停止产生使用费用。

将 Splunk 作为目标的测试

使用以下步骤使用 Splunk 作为目标来测试您的 Firehose 直播。

使用 Splunk 测试 Firehose 直播
  1. 打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。

  2. 选择 Firehose 直播。

  3. 使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。

  4. 检查是否正在将数据传输到 Splunk 索引。Splunk 中的示例搜索词为 sourcetype="aws:firehose:json"index="name-of-your-splunk-index"。有关如何在 Splunk 中搜索事件的更多信息,请参阅 Splunk 文档中的搜索手册

    如果测试数据未出现在您的 Splunk 索引中,请检查您的 AmazonS3 存储桶中是否有失败事件。另请参阅数据未传输到 Splunk

  5. 在完成测试时,请选择 Stop sending demo data 以停止产生使用费用。