使用示例数据测试 Firehose 流 - Amazon Data Firehose
先决条件使用 Amazon S3 进行测试使用 Amazon Redshift 进行测试使用 OpenSearch Service 进行测试使用 Splunk 进行测试使用 Apache Iceberg 表进行测试
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用示例数据测试 Firehose 流

您可以使用 Amazon Web Services Management Console 提取模拟的股票代码数据。该控制台在您的浏览器中运行脚本，以将示例记录放入您的 Firehose 流中。这能让您测试 Firehose 流的配置，而无需生成测试数据。

下面是模拟数据的一个示例：

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

请注意，当您的 Firehose 流传输数据时，会产生标准 Amazon Data Firehose 费用，但在生成数据时不会产生任何费用。要停止产生这些费用，您可以随时从控制台停止示例数据流。

先决条件

在您开始之前，请先创建 Firehose 流。有关更多信息，请参阅 教程：从控制台创建 Firehose 流。

使用 Amazon S3 进行测试

执行以下步骤，将 Amazon Simple Storage Service（Amazon S3）作为目的地测试 Firehose 流。

要使用 Amazon S3 测试 Firehose 流

  1. 在 https://console.aws.amazon.com/firehose/ 中打开 Firehose 控制台。

  2. 选择活跃的 Firehose 流。在开始发送数据之前，Firehose 流必须处于活动状态。

  3. 在使用演示数据进行测试下，选择开始发送演示数据即可生成示例股票代码数据。

  4. 按照屏幕上的说明验证是否正在将数据传输到 S3 存储桶。请注意，根据存储桶的缓冲配置，可能需要几分钟时间，新对象才能显示在您的存储桶中。

  5. 在测试完成后，选择停止发送演示数据即可停止产生使用费用。

使用 Amazon Redshift 进行测试

执行以下步骤，将 Amazon Redshift 作为目的地以测试 Firehose 流。

要使用 Amazon Redshift 测试 Firehose 流

  1. Firehose 流要求 Amazon Redshift 集群中存在一个表。通过 SQL 接口连接到 Amazon Redshift，并运行以下语句以创建一个接受示例数据的表。

    create table firehose_test_table
(
	TICKER_SYMBOL varchar(4),
	SECTOR varchar(16),
	CHANGE float,
	PRICE float
);

  2. 在 https://console.aws.amazon.com/firehose/ 中打开 Firehose 控制台。

  3. 选择活跃的 Firehose 流。在开始发送数据之前，Firehose 流必须处于活动状态。

  4. 编辑 Firehose 流的目的地详细信息以指向新创建的 firehose_test_table 表。

  5. 在使用演示数据进行测试下，选择开始发送演示数据即可生成示例股票代码数据。

  6. 按照屏幕上的说明验证是否正在将数据传输到您的表。请注意，根据缓冲配置，可能需要几分钟时间，新行才能显示在您的表中。

  7. 在测试完成后，选择停止发送演示数据即可停止产生使用费用。

  8. 编辑 Firehose 流的目的地详细信息以指向另一个表。

  9. （可选）删除 firehose_test_table 表。

使用 OpenSearch Service 进行测试

执行以下步骤，将 Amazon OpenSearch Service 作为目的地以测试 Firehose 流。

要使用 OpenSearch Service 测试 Firehose 流

  1. 在 https://console.aws.amazon.com/firehose/ 中打开 Firehose 控制台。

  2. 选择活跃的 Firehose 流。在开始发送数据之前，Firehose 流必须处于活动状态。

  3. 在使用演示数据进行测试下，选择开始发送演示数据即可生成示例股票代码数据。

  4. 按照屏幕上的说明验证数据是否已传输到您的 OpenSearch Service 域。有关更多信息，请参阅《Amazon OpenSearch Service 开发人员指南》中的在 OpenSearch Service 域中搜索文档。

  5. 在测试完成后，选择停止发送演示数据即可停止产生使用费用。

使用 Splunk 进行测试

执行以下步骤，以便将 Splunk 作为目的地以测试 Firehose 流。

要使用 Splunk 测试 Firehose 流

  1. 在 https://console.aws.amazon.com/firehose/ 中打开 Firehose 控制台。

  2. 选择活跃的 Firehose 流。在开始发送数据之前，Firehose 流必须处于活动状态。

  3. 在使用演示数据进行测试下，选择开始发送演示数据即可生成示例股票代码数据。

  4. 检查是否正在将数据传输到 Splunk 索引。Splunk 中的示例搜索词为 sourcetype="aws:firehose:json" 和 index="name-of-your-splunk-index"。有关如何在 Splunk 中搜索事件的更多信息，请参阅 Splunk 文档中的搜索手册。

    如果测试数据未出现在您的 Splunk 索引中，请检查您的 AmazonS3 存储桶中是否有失败事件。另请参阅数据未传输到 Splunk。

  5. 在完成测试时，请选择 Stop sending demo data 以停止产生使用费用。

使用 Apache Iceberg 表进行测试

执行以下步骤，将 Apache Iceberg 表作为目的地以测试 Firehose 流。

要使用 Apache Iceberg 表测试 Firehose 流

  1. 在 https://console.aws.amazon.com/firehose/ 中打开 Firehose 控制台。

  2. 选择活跃的 Firehose 流。在开始发送数据之前，Firehose 流必须处于活动状态。

  3. 在使用演示数据进行测试下，选择开始发送演示数据即可生成示例股票代码数据。

  4. 按照屏幕上的说明验证是否正在将数据传输到您的 Apache Iceberg 表。请注意，根据存储桶的缓冲配置，可能需要几分钟时间，新对象才能显示在您的存储桶中。

  5. 如果测试数据未出现在您的 Apache Iceberg 表中，则请检查您的 AmazonS3 存储桶中是否有失败事件。

  6. 在完成测试时，请选择 Stop sending demo data 以停止产生使用费用。