对亚马逊数据 Firehose 进行故障排除 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

对亚马逊数据 Firehose 进行故障排除

如果 Firehose 在传送或处理数据时遇到错误,它会重试,直到配置的重试持续时间到期。如果重试持续时间在成功传输数据之前结束,Firehose 会将数据备份到配置的 S3 备份存储桶。如果目标是 Amazon S3 且交付失败,或者向备份 S3 存储桶交付失败,Firehose 会继续重试,直到保留期结束。对于 DirectPut Firehose 直播,Firehose 会将记录保留 24 小时。对于数据源为 Kinesis 数据流的 Firehose 流,您可以按照更改数据保留期中所述更改保留期。

如果数据源是 Kinesis 数据流,Firehose 会无限期地重试以下操作:、和。DescribeStream GetRecords GetShardIterator

如果 Firehose 直播使用DirectPut,请检查IncomingBytesIncomingRecords指标以查看是否有传入流量。如果您正在使用 PutRecordPutRecordBatch,请务必捕获异常并重试。我们建议使用带指数退避的重试策略,并且提供抖动和多次重试功能。此外,如果您使用 PutRecordBatch API,请确保您的代码检查响应FailedPutCount中的值,即使 API 调用成功也是如此。

如果 Firehose 流使用 Kinesis 数据流作为其来源,请检查源数据流的IncomingBytesIncomingRecords指标。此外,请确保正在为 Firehose 直播发布DataReadFromKinesisStream.BytesDataReadFromKinesisStream.Records指标。

有关使用追踪配送错误的信息 CloudWatch,请参阅使用日志监控亚马逊数据 Firehose CloudWatch

常见问题

以下是一些常见问题以及如何解决这些问题。

  • Firehose 流不可用作 CloudWatch 日志、 CloudWatch 事件或物 Amazon 联网操作的目标 — 某些 Amazon 服务只能向相同的 Firehose 流发送消息和事件。 Amazon Web Services 区域确认您的 Firehose 直播与其他服务位于同一区域。

  • 尽管指标不错,但目标上仍没有数据 — 如果没有数据提取问题,并且为 Firehose 流发出的指标看起来不错,但您在目标位置看不到数据,请检查读取器逻辑。确保您的读取器正确解析所有数据。

问题