亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用示例数据测试您的 Firehose 直播
您可以使用 Amazon Web Services Management Console 来提取模拟股票行情数据。控制台在您的浏览器中运行脚本,将示例记录放入您的 Firehose 直播中。这使您无需生成自己的测试数据即可测试 Firehose 直播的配置。
下面是模拟数据的一个示例:
{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}
请注意,当您的 Firehose 流传输数据时,会收取标准的 Amazon Data Firehose 费用,但在生成数据时不收取任何费用。要停止产生这些费用,您可以随时从控制台停止示例数据流。
先决条件
在开始之前,请创建一个 Firehose 直播。有关更多信息,请参阅创建 Firehose 直播。
将 Amazon S3 作为目标进行测试
使用以下步骤使用亚马逊简单存储服务 (Amazon S3) 作为目标来测试您的 Firehose 直播。
使用亚马逊 S3 测试 Firehose 直播
-
打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。
-
选择 Firehose 直播。
-
在使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。
-
按照屏幕上的说明验证是否正在将数据传输到 S3 存储桶。请注意,根据存储桶的缓冲配置,可能需要几分钟时间,新对象才能显示在您的存储桶中。
-
在测试完成后,选择停止发送演示数据即可停止产生使用费用。
将 Amazon Redshift 作为目标进行测试
使用以下步骤使用亚马逊 Redshift 作为目标来测试你的 Firehose 直播。
使用亚马逊 Redshift 测试 Firehose 直播
-
你的 Firehose 直播希望你的亚马逊 Redshift 集群中有一个表。通过 SQL 接口连接到 Amazon Redshift,并运行以下语句以创建一个接受示例数据的表。
create table firehose_test_table ( TICKER_SYMBOL varchar(4), SECTOR varchar(16), CHANGE float, PRICE float );
-
打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。
-
选择 Firehose 直播。
-
编辑 Firehose 直播的目标详细信息以指向新创建
firehose_test_table
的表。 -
在使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。
-
按照屏幕上的说明验证是否正在将数据传输到您的表。请注意,根据缓冲配置,可能需要几分钟时间,新行才能显示在您的表中。
-
在测试完成后,选择停止发送演示数据即可停止产生使用费用。
-
编辑 Firehose 直播的目标详细信息以指向另一张表。
-
(可选)删除
firehose_test_table
表。
使用 OpenSearch 服务作为目标进行测试
使用以下步骤以亚马逊 OpenSearch 服务为目标来测试您的 Firehose 直播。
使用服务测试 Firehose 直播 OpenSearch
-
打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。
-
选择 Firehose 直播。
-
在使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。
-
按照屏幕上的说明验证数据是否已传送到您的 OpenSearch 服务域。有关更多信息,请参阅《亚马逊 OpenSearch 服务开发者指南》中的在 OpenSearch 服务域中搜索文档。
-
在测试完成后,选择停止发送演示数据即可停止产生使用费用。
将 Splunk 作为目标的测试
使用以下步骤使用 Splunk 作为目标来测试您的 Firehose 直播。
使用 Splunk 测试 Firehose 直播
-
打开 Firehose 控制台,网址为 https://console.aws.amazon.com/firehose/。
-
选择 Firehose 直播。
-
在使用演示数据进行测试下,选择开始发送演示数据即可生成示例股票代码数据。
-
检查是否正在将数据传输到 Splunk 索引。Splunk 中的示例搜索词为
sourcetype="aws:firehose:json"
和index="
。有关如何在 Splunk 中搜索事件的更多信息,请参阅 Splunk 文档中的搜索手册name-of-your-splunk-index
"。 如果测试数据未出现在您的 Splunk 索引中,请检查您的 AmazonS3 存储桶中是否有失败事件。另请参阅数据未传输到 Splunk。
-
在完成测试时,请选择 Stop sending demo data 以停止产生使用费用。