使用 CloudWatch 指标监控 Kinesis Data Firehose - Amazon Kinesis Data Firehose
动态分区 CloudWatch 指标数据传输 CloudWatch 指标数据摄取指标API 级别 CloudWatch 指标数据转换 CloudWatch 指标格式转换 CloudWatch 指标服务器端加密（SSE）CloudWatch 指标Kinesis Data Firehose 维度Kinesis Data Firehose 用量指标
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用 CloudWatch 指标监控 Kinesis Data Firehose

重要

请务必对属于您目标的所有 CloudWatch 指标启用警报，以便及时发现错误。

Kinesis Data Firehose 与 Amazon CloudWatch 指标集成，以便您可以收集、查看和分析 Kinesis Data Firehose 传输流的 CloudWatch 指标。例如，您可以监控 IncomingBytes 和 IncomingRecords 指标，以跟踪从数据生产者摄取到 Kinesis Data Firehose 的数据。

Kinesis Data Firehose 每分钟收集并发布一次 CloudWatch 指标。但是，如果传入数据突发仅持续几秒钟，则可能无法在一分钟指标中完全捕获或可见。这是因为 CloudWatch 指标是以一分钟的间隔从 Kinesis Data Firehose 进行聚合。

为 Kinesis Data Firehose 传输流收集的指标不收费。有关 Kinesis 代理指标的更多信息，请参阅 监控 Kinesis 代理运行状况。

动态分区 CloudWatch 指标

如果启用了动态分区，则 Amazon/Firehose 命名空间将包含以下指标。

指标 描述
ActivePartitionsLimit

传输流在将数据发送到错误存储桶之前处理的最大活动分区数。

单位：计数
PartitionCount

正在处理的分区数，也即活动分区数。此数字在 1 和分区计数限制 500（默认）之间变化。

单位：计数
PartitionCountExceeded

此指标指示您是否超出了分区计数限制。根据是否违反限制发出 1 或 0。
JQProcessing.Duration

返回在 JQ Lambda 函数中执行 JQ 表达式所花的时间。

单位：毫秒
PerPartitionThroughput

表示每个分区正在处理的吞吐量。此指标使您能够监控每个分区的吞吐量。

单位：StandardUnit.BytesSecond
DeliveryToS3.ObjectCount

指示正在传输到 S3 存储桶的对象数。

单位：计数

数据传输 CloudWatch 指标

Amazon/Firehose 命名空间包括以下服务级指标。如果您看到 BackupToS3.Success、DeliveryToS3.Success、DeliveryToSplunk.Success、DeliveryToAmazonOpenSearchService.Success 或 DeliveryToRedshift.Success 的平均值小幅下降，这并不表示存在数据丢失。Kinesis Data Firehose 会重试传输错误，并且在记录成功传输到配置的目标或备份 S3 存储桶之前不会继续前进。

传输到 OpenSearch Service

指标 描述
DeliveryToAmazonOpenSearchService.Bytes

在指定时间段内索引到 OpenSearch Service 的字节数。

单位：字节
DeliveryToAmazonOpenSearchService.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 ​​OpenSearch Service。

单位：秒
DeliveryToAmazonOpenSearchService.Records

在指定时间段内索引到 OpenSearch Service 的记录数。

单位：计数
DeliveryToAmazonOpenSearchService.Success

成功建立索引的记录总数相比已尝试的记录总数。
DeliveryToS3.Bytes

在指定时间段内传输到 Amazon S3 的字节数。仅当您为所有文档启用备份后，Kinesis Data Firehose 才会发出此指标。

单位：计数
DeliveryToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。仅当您为所有文档启用备份后，Kinesis Data Firehose 才会发出此指标。

单位：秒
DeliveryToS3.Records

在指定时间段内传输到 Amazon S3 的记录数。仅当您为所有文档启用备份后，Kinesis Data Firehose 才会发出此指标。

单位：计数
DeliveryToS3.Success

成功的 Amazon S3 put 命令总和相比所有 Amazon S3 put 命令的总和。无论是仅对失败的文档还是对所有文档启用备份，Kinesis Data Firehose 始终会发出此指标。
DeliveryToAmazonOpenSearchService.AuthFailure

身份验证/授权错误。验证 OS/ES 集群策略和角色权限。

0 表示没有问题。1 表示身份验证失败。
DeliveryToAmazonOpenSearchService.DeliveryRejected

传输被拒绝错误。验证 OS/ES 集群策略和角色权限。

0 表示没有问题。1 表示传输失败。

传输到 OpenSearch 无服务器

指标 描述
DeliveryToAmazonOpenSearchServerless.Bytes

在指定时间段内索引到 OpenSearch 无服务器的字节数。

单位：字节
DeliveryToAmazonOpenSearchServerless.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 ​​OpenSearch 无服务器。

单位：秒
DeliveryToAmazonOpenSearchServerless.Records

在指定时间段内索引到 OpenSearch 无服务器的记录数。

单位：计数
DeliveryToAmazonOpenSearchServerless.Success

成功建立索引的记录总数相比已尝试的记录总数。
DeliveryToS3.Bytes

在指定时间段内传输到 Amazon S3 的字节数。仅当您为所有文档启用备份后，Kinesis Data Firehose 才会发出此指标。

单位：计数
DeliveryToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。仅当您为所有文档启用备份后，Kinesis Data Firehose 才会发出此指标。

单位：秒
DeliveryToS3.Records

在指定时间段内传输到 Amazon S3 的记录数。仅当您为所有文档启用备份后，Kinesis Data Firehose 才会发出此指标。

单位：计数
DeliveryToS3.Success

成功的 Amazon S3 put 命令总和相比所有 Amazon S3 put 命令的总和。无论是仅对失败的文档还是对所有文档启用备份，Kinesis Data Firehose 始终会发出此指标。
DeliveryToAmazonOpenSearchServerless.AuthFailure

身份验证/授权错误。验证 OS/ES 集群策略和角色权限。

0 表示没有问题。1 表示身份验证失败。
DeliveryToAmazonOpenSearchServerless.DeliveryRejected

传输被拒绝错误。验证 OS/ES 集群策略和角色权限。

0 表示没有问题。1 表示传输失败。

传输到 Amazon Redshift

指标 描述
DeliveryToRedshift.Bytes

在指定时间段内复制到 Amazon Redshift 的字节数。

单位：计数
DeliveryToRedshift.Records

在指定时间段内复制到 Amazon Redshift 的记录数。

单位：计数
DeliveryToRedshift.Success

成功的 Amazon Redshift COPY 命令总和相比所有 Amazon Redshift COPY 命令的总和。
DeliveryToS3.Bytes

在指定时间段内传输到 Amazon S3 的字节数。

单位：字节
DeliveryToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。

单位：秒
DeliveryToS3.Records

在指定时间段内传输到 Amazon S3 的记录数。

单位：计数
DeliveryToS3.Success

成功的 Amazon S3 put 命令总和相比所有 Amazon S3 put 命令的总和。
BackupToS3.Bytes

在指定时间段内传输到 Amazon S3 进行备份的字节数。启用备份到 Amazon S3 后，Kinesis Data Firehose 会发出此指标。

单位：计数
BackupToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 Amazon S3 存储桶进行备份。启用备份到 Amazon S3 后，Kinesis Data Firehose 会发出此指标。

单位：秒
BackupToS3.Records

在指定时间段内传输到 Amazon S3 进行备份的记录数。启用备份到 Amazon S3 后，Kinesis Data Firehose 会发出此指标。

单位：计数
BackupToS3.Success

成功的 Amazon S3 备份 put 命令的总和相比所有 Amazon S3 备份 put 命令的总和。启用备份到 Amazon S3 后，Kinesis Data Firehose 会发出此指标。

传输到 Amazon S3

下表中的指标与 Amazon S3 是传输流的主要目标时的传输相关。

指标 描述
DeliveryToS3.Bytes

在指定时间段内传输到 Amazon S3 的字节数。

单位：字节
DeliveryToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。

单位：秒
DeliveryToS3.Records

在指定时间段内传输到 Amazon S3 的记录数。

单位：计数
DeliveryToS3.Success

成功的 Amazon S3 put 命令总和相比所有 Amazon S3 put 命令的总和。
BackupToS3.Bytes

在指定时间段内传输到 Amazon S3 进行备份的字节数。启用备份后，Kinesis Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。

单位：计数
BackupToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 Amazon S3 存储桶进行备份。启用备份后，Kinesis Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。

单位：秒
BackupToS3.Records

在指定时间段内传输到 Amazon S3 进行备份的记录数。启用备份后，Kinesis Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。

单位：计数
BackupToS3.Success

成功的 Amazon S3 备份 put 命令的总和相比所有 Amazon S3 备份 put 命令的总和。启用备份后，Kinesis Data Firehose 会发出此指标（只有在同时启用数据转换的情况下才可以）。

传输到 Splunk

指标 描述
DeliveryToSplunk.Bytes

在指定时段内传送到 Splunk 的字节数。

单位：字节
DeliveryToSplunk.DataAckLatency

Kinesis Data Firehose 向 Splunk 发送数据后，从 Splunk 接收确认所需的大致时间。此指标的增加或减少趋势比绝对近似值更有用。增长趋势可能表明 Splunk 索引器的索引和确认速度较慢。

单位：秒
DeliveryToSplunk.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 Splunk。

单位：秒
DeliveryToSplunk.Records

在指定时段内传送到 Splunk 的记录数。

单位：计数
DeliveryToSplunk.Success

成功建立索引的记录总数相比已尝试的记录总数。
DeliveryToS3.Success

成功的 Amazon S3 put 命令总和相比所有 Amazon S3 put 命令的总和。启用备份到 Amazon S3 时，将发出此指标。

BackupToS3.Bytes

在指定时间段内传输到 Amazon S3 进行备份的字节数。当传输流配置为备份所有文档时，Kinesis Data Firehose 会发出此指标。

单位：计数
BackupToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 Amazon S3 存储桶进行备份。当传输流配置为备份所有文档时，Kinesis Data Firehose 会发出此指标。

单位：秒
BackupToS3.Records

在指定时间段内传输到 Amazon S3 进行备份的记录数。当传输流配置为备份所有文档时，Kinesis Data Firehose 会发出此指标。

单位：计数
BackupToS3.Success

成功的 Amazon S3 备份 put 命令的总和相比所有 Amazon S3 备份 put 命令的总和。当传输流配置为备份所有文档时，Kinesis Data Firehose 会发出此指标。

传输到 HTTP 端点

指标 描述
DeliveryToHttpEndpoint.Bytes

成功传输到 HTTP 端点的字节数。

单位：字节
DeliveryToHttpEndpoint.Records

成功传输到 HTTP 端点的记录数。

单位：计数
DeliveryToHttpEndpoint.DataFreshness

Kinesis Data Firehose 中最早记录的期限。

单位：秒
DeliveryToHttpEndpoint.Success

向 HTTP 端点成功传输数据的所有请求的总和

单位：计数
DeliveryToHttpEndpoint.ProcessedBytes

尝试处理的字节数，包括重试次数。
DeliveryToHttpEndpoint.ProcessedRecords

尝试的记录数，包括重试次数。

数据摄取指标

通过 Kinesis Data Streams 进行的数据摄取

指标 描述
DataReadFromKinesisStream.Bytes

当数据来源是 Kinesis 数据流时，此指标指示从该数据流读取的字节数。此数字包括由于故障转移而重新读取的数量。

单位：字节
DataReadFromKinesisStream.Records

当数据来源是 Kinesis 数据流时，此指标指示从该 Kinesis 数据流读取的记录数。此数字包括由于故障转移而重新读取的数量。

单位：计数
ThrottledDescribeStream

当数据来源是 Kinesis 数据流时，DescribeStream 操作受到限制的总次数。

单位：计数
ThrottledGetRecords

当数据来源是 Kinesis 数据流时，GetRecords 操作受到限制的总次数。

单位：计数
ThrottledGetShardIterator

当数据来源是 Kinesis 数据流时，GetShardIterator 操作受到限制的总次数。

单位：计数

通过直接 PUT 进行的数据摄取

指标 描述
BackupToS3.Bytes

在指定时间段内传输到 Amazon S3 进行备份的字节数。当为 Amazon S3 或 Amazon Redshift 目标启用数据转换时，Kinesis Data Firehose 会发出此指标。

单位：字节
BackupToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 Amazon S3 存储桶进行备份。当为 Amazon S3 或 Amazon Redshift 目标启用数据转换时，Kinesis Data Firehose 会发出此指标。

单位：秒
BackupToS3.Records

在指定时间段内传输到 Amazon S3 进行备份的记录数。当为 Amazon S3 或 Amazon Redshift 目标启用数据转换时，Kinesis Data Firehose 会发出此指标。

单位：计数
BackupToS3.Success

成功的 Amazon S3 备份 put 命令的总和相比所有 Amazon S3 备份 put 命令的总和。当为 Amazon S3 或 Amazon Redshift 目标启用数据转换时，Kinesis Data Firehose 会发出此指标。
BytesPerSecondLimit 在限制之前传输流当前每秒可以摄取的最大字节数。要请求提高此限制，请转至 Amazon Support 中心并选择创建案例，然后选择提高服务限制。
DataReadFromKinesisStream.Bytes

当数据来源是 Kinesis 数据流时，此指标指示从该数据流读取的字节数。此数字包括由于故障转移而重新读取的数量。

单位：字节
DataReadFromKinesisStream.Records

当数据来源是 Kinesis 数据流时，此指标指示从该 Kinesis 数据流读取的记录数。此数字包括由于故障转移而重新读取的数量。

单位：计数
DeliveryToAmazonOpenSearchService.Bytes

在指定时间段内索引到 OpenSearch Service 的字节数。

单位：字节
DeliveryToAmazonOpenSearchService.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何早于此期限的记录均已传输到 ​​OpenSearch Service。

单位：秒
DeliveryToAmazonOpenSearchService.Records

在指定时间段内索引到 OpenSearch Service 的记录数。

单位：计数
DeliveryToAmazonOpenSearchService.Success

成功建立索引的记录总数相比已尝试的记录总数。
DeliveryToRedshift.Bytes

在指定时间段内复制到 Amazon Redshift 的字节数。

单位：字节
DeliveryToRedshift.Records

在指定时间段内复制到 Amazon Redshift 的记录数。

单位：计数
DeliveryToRedshift.Success

成功的 Amazon Redshift COPY 命令总和相比所有 Amazon Redshift COPY 命令的总和。
DeliveryToS3.Bytes

在指定时间段内传输到 Amazon S3 的字节数。

单位：字节
DeliveryToS3.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 S3 存储桶。

单位：秒
DeliveryToS3.Records

在指定时间段内传输到 Amazon S3 的记录数。

单位：计数
DeliveryToS3.Success

成功的 Amazon S3 put 命令总和相比所有 Amazon S3 put 命令的总和。
DeliveryToSplunk.Bytes

在指定时段内传送到 Splunk 的字节数。

单位：字节
DeliveryToSplunk.DataAckLatency

Kinesis Data Firehose 向 Splunk 发送数据后，从 Splunk 接收确认所需的大致时间。此指标的增加或减少趋势比绝对近似值更有用。增长趋势可能表明 Splunk 索引器的索引和确认速度较慢。

单位：秒
DeliveryToSplunk.DataFreshness

Kinesis Data Firehose 中最早记录的期限（从进入 Kinesis Data Firehose 到现在）。任何大于此年龄的记录已传送到 Splunk。

单位：秒
DeliveryToSplunk.Records

在指定时段内传送到 Splunk 的记录数。

单位：计数
DeliveryToSplunk.Success

成功建立索引的记录总数相比已尝试的记录总数。
IncomingBytes

发生限制后在指定时间段内成功接收到传输流中的字节数。

单位：字节
IncomingPutRequests

在指定时间段内成功的 PutRecord 和 PutRecordBatch 请求数。

单位：计数
IncomingRecords

发生限制后在指定时间段内成功接收到传输流中的记录数。

单位：计数
KinesisMillisBehindLatest

当数据来源是 Kinesis 数据流时，此度量标准指示最后一条读取记录落后于 Kinesis 数据流中的最新记录的毫秒数。

单位：毫秒
RecordsPerSecondLimit

在限制之前传输流当前每秒可以摄取的最大记录数。

单位：计数
ThrottledRecords

由于数据摄取超过其中一个传输流限制而受到限制的记录数。

单位：计数

从 MSK 进行的数据摄取

指标 描述
DataReadFromSource.Records

从源 Kafka 主题读取的记录数。

单位：计数
DataReadFromSource.Bytes

从源 Kafka 主题读取的字节数。

单位：字节
SourceThrottled.Delay

源 Kafka 集群从源 Kafka 主题返回记录的延迟时间。

单位：毫秒
BytesPerSecondLimit

Firehose 从源 Kafka 主题的每个分区读取数据的当前吞吐量限制。

单位：字节/秒
KafkaOffsetLag

Firehose 从源 Kafka 主题读取的记录的最大偏移量与源 Kafka 主题可用记录的最大偏移量之间的差异。

单位：计数
FailedValidation.Records

记录验证失败的记录数。

单位：计数
FailedValidation.Bytes

记录验证失败的字节数。

单位：字节
DataReadFromSource.Backpressured

表示传输流从源分区读取记录出现延迟，原因可能是超出了每个分区的 BytesPerSecondLimit，或者正常传输流缓慢或已停止

单位：布尔值

API 级别 CloudWatch 指标

Amazon/Firehose 命名空间包括以下 API 级指标。

指标 描述
DescribeDeliveryStream.Latency

在指定时段内测量的每个 DescribeDeliveryStream 操作所用的时间。

单位：毫秒
DescribeDeliveryStream.Requests

DescribeDeliveryStream 请求的总数。

单位：计数
ListDeliveryStreams.Latency

在指定时段内测量的每个 ListDeliveryStream 操作所用的时间。

单位：毫秒
ListDeliveryStreams.Requests

ListFirehose 请求的总数。

单位：计数
PutRecord.Bytes

在指定时段内使用 PutRecord 放入 Kinesis Data Firehose 传输流的字节数。

单位：字节
PutRecord.Latency

在指定时段内测量的每个 PutRecord 操作所用的时间。

单位：毫秒
PutRecord.Requests

PutRecord 请求的总数，此数目等于来自 PutRecord 操作的记录的总数。

单位：计数
PutRecordBatch.Bytes

在指定时段内使用 PutRecordBatch 放入 Kinesis Data Firehose 传输流的字节数。

单位：字节
PutRecordBatch.Latency

在指定时段内测量的每个 PutRecordBatch 操作所用的时间。

单位：毫秒
PutRecordBatch.Records

来自 PutRecordBatch 操作的记录的总数。

单位：计数
PutRecordBatch.Requests

PutRecordBatch 请求的总数。

单位：计数
PutRequestsPerSecondLimit

在限制之前传输流可以处理的每秒最大输入请求数。此数字包括 PuttRecord 和 PutRecordBatch 请求数。

单位：计数
ThrottledDescribeStream

当数据来源是 Kinesis 数据流时，DescribeStream 操作受到限制的总次数。

单位：计数
ThrottledGetRecords

当数据来源是 Kinesis 数据流时，GetRecords 操作受到限制的总次数。

单位：计数
ThrottledGetShardIterator

当数据来源是 Kinesis 数据流时，GetShardIterator 操作受到限制的总次数。

单位：计数
UpdateDeliveryStream.Latency

在指定时段内测量的每个 UpdateDeliveryStream 操作所用的时间。

单位：毫秒
UpdateDeliveryStream.Requests

UpdateDeliveryStream 请求的总数。

单位：计数

数据转换 CloudWatch 指标

如果启用 Lambda 数据转换，AWS/Firehose 命名空间将包含以下指标。

指标 描述
ExecuteProcessing.Duration

Kinesis Data Firehose 执行每次 Lambda 函数调用所花的时间。

单位：毫秒
ExecuteProcessing.Success

成功的 Lambda 函数调用总和相比总的 Lambda 函数调用次数。
SucceedProcessing.Records

在指定时间段内成功处理的记录数。

单位：计数
SucceedProcessing.Bytes

在指定时间段内成功处理的字节数。

单位：字节

格式转换 CloudWatch 指标

如果启用了格式转换，AWS/Firehose 命名空间会包括以下指标。

指标 描述
SucceedConversion.Records

成功转换的记录的数量。

单位：计数
SucceedConversion.Bytes

成功转换的记录的大小。

单位：字节
FailedConversion.Records

未能转换的记录的数量。

单位：计数
FailedConversion.Bytes

未能转换的记录的大小。

单位：字节

服务器端加密（SSE）CloudWatch 指标

Amazon/Firehose 命名空间包括以下与 SSE 相关的指标。

指标 描述
KMSKeyAccessDenied

服务遇到传输流的 KMSAccessDeniedException 的次数。

单位：计数
KMSKeyDisabled

服务遇到传输流的 KMSDisabledException 的次数。

单位：计数
KMSKeyInvalidState

服务遇到传输流的 KMSInvalidStateException 的次数。

单位：计数
KMSKeyNotFound

服务遇到传输流的 KMSNotFoundException 的次数。

单位：计数

Kinesis Data Firehose 维度

要按传输流筛选指标，请使用 DeliveryStreamName 维度。

Kinesis Data Firehose 用量指标

您可以使用 CloudWatch 用量指标来提供账户资源使用情况的可见性。使用这些指标在 CloudWatch 图表和控制面板上可视化当前服务用量。

服务限额用量指标位于 Amazon/Usage 命名空间中，并且每分钟收集一次。

目前，CloudWatch 在此命名空间中发布的唯一指标名称是 ResourceCount。此指标与 Service、Class、Type 和 Resource 维度一同发布。

指标 描述
ResourceCount

您账户中运行的指定资源的数量。资源由与指标关联的维度定义。

此指标最有用的统计数据是 MAXIMUM，这表示 1 分钟期间内使用的最大资源数。

以下维度用于优化 Kinesis Data Firehose 发布的用量指标。

维度 描述
Service

包含该资源的 Amazon 服务的名称。对于 Kinesis Data Firehose 用量指标，此维度的值为 Firehose。
Class

所跟踪的资源的类。Kinesis Data Firehose API 用量指标使用值为 None 的维度。
Type

所跟踪的资源的类型。当前，当服务维度为 Firehose 时，类型的唯一有效值为 Resource。
Resource

Amazon 资源的名称。目前，当服务维度为 Firehose 时，资源的唯一有效值为 DeliveryStreams。