本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Real-time 使用订阅处理日志数据
您可以使用订阅来访问来自 CloudWatch 日志的日志事件的实时提要,并将其传送到其他服务,例如 Amazon Kinesis 流、Amazon Data Firehose 流,或者 Amazon Lambda 进行自定义处理、分析或加载到其他系统。当将录入事件发送到接收它们的服务时,它们会经过 base64 编码并使用 gzip 格式进行压缩。
您还可以使用 CloudWatch 日志集中化将日志数据从多个账户和区域复制到一个中心位置。有关更多信息,请参阅 Cross-account 跨区域日志集中化。
要开始订阅日志事件,请创建接收资源,例如 Amazon Kinesis Data Streams 流,事件将在其中传送。订阅过滤器定义过滤器模式,用于筛选哪些日志事件传送到您的 Amazon 资源,以及有关将匹配的日志事件发送到何处的信息。日志事件在摄取后不久(通常不到三分钟)就会发送到接收资源。
注意
如果具有订阅的日志组使用日志转换,则会将筛选模式与日志事件的转换版本进行比较。有关更多信息,请参阅 在摄取期间转换日志。
您可以在账户级别和日志组级别创建订阅。每个账户对于每个区域可以有一个账户级订阅筛选条件。每个日志组最多可以有五个与之关联的订阅过滤器。
注意
如果目标服务返回可重试错误,例如限制异常或可重试服务异常(例如 HTTP 5xx),则 CloudWatch 日志最多会在 24 小时内继续重试交付。 CloudWatch 如果错误是不可重试的错误,例如或,则日志不会尝试重新传送。 AccessDeniedException ResourceNotFoundException在这些情况下,订阅筛选器最多禁用 10 分钟,然后 L CloudWatch ogs 会重试将日志发送到目标。在此禁用期间,将跳过日志。
CloudWatch 日志还生成有关将日志事件转发到订阅的 CloudWatch 指标。有关更多信息,请参阅 使用 CloudWatch 指标进行监控。
您还可以使用 CloudWatch 日志订阅将日志数据近乎实时地传输到亚马逊 OpenSearch 服务集群。有关更多信息,请参阅将 CloudWatch 日志数据流式传输到亚马逊 OpenSearch 服务。
仅标准日志类中的日志组支持订阅。有关日志类的更多信息,请参阅 日志类。
注意
订阅筛选条件可能会批量记录事件以优化传输并减少对目的地的调用量。不保证使用批处理,但会尽可能地使用。
要按计划批处理和分析日志数据,请考虑使用使用计划查询自动进行日志分析。计划查询会自动运行 CloudWatch Logs Insights 查询,并将结果传送到 Amazon S3 存储桶或 Amazon EventBridge 事件总线等目的地。
注意
订阅过滤器可确保至少一次传送事件,而重复的事件偶尔可能会发生。