对 Firehose 中的解压缩进行问题排查 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

对 Firehose 中的解压缩进行问题排查

下表显示了 Firehose 如何处理数据解压缩和处理期间的错误,包括将记录传输到 S3 错误存储桶、日志记录错误和发出指标。其中还解释了未经授权的数据放置操作返回的错误消息。

问题 解决方案
如果在解压缩过程中出现错误,源数据会发生什么?

如果 Amazon Data Firehose 无法解压缩记录,则记录将按原样(以压缩格式)传输到您在 Firehose 流创建期间指定的 S3 错误存储桶。除了记录外,传输的对象还包括错误代码和错误消息,这些对象将传输到名为 decompression-failed 的 S3 存储桶前缀。记录解压缩失败后,Firehose 将继续处理其他记录。

成功解压缩后,如果处理管道出现错误,源数据会发生什么?

如果 Amazon Data Firehose 在解压后的处理步骤(例如,动态分区和数据格式转换)中出错,则记录将以压缩格式传输到您在创建 Firehose 流时指定的 S3 错误存储桶。除了记录外,传输的对象还包括错误代码和错误消息。

如果出现错误或异常,要如何通知您?

在解压缩过程中出现错误或异常时,如果您配置了 CloudWatch Logs,则 Firehose 会将错误消息记录到 CloudWatch Logs 中。此外,Firehose 还会向 CloudWatch 指标发送您可以监控的指标。您还可以选择根据 Firehose 发出的指标来创建警报。

put 操作并非来自 CloudWatch Logs 时会发生什么? 如果客户 puts 不是来自 CloudWatch Logs,则会返回以下错误消息:
Put to Firehose failed for AccountId: <accountID>, FirehoseName: <firehosename> because the request is not originating from allowed source types.
Firehose 为解压缩功能发出了哪些指标? Firehose 发出每条记录的解压缩指标。您应该选择周期(1 分钟)、统计数据(总和)、日期范围,以获取 DecompressedRecords 失败或成功或 DecompressedBytes 失败或成功的次数。有关更多信息,请参阅 CloudWatch Logs 解压缩指标