使用订阅实时处理日志数据
您可以使用订阅从 CloudWatch Logs 中访问日志事件的实时源,并将其传输到其他服务(如 Amazon Kinesis 流、Amazon Data Firehose 流或 Amazon Lambda)以进行自定义处理、分析或加载到其他系统中。当将录入事件发送到接收它们的服务时,它们会经过 base64 编码并使用 gzip 格式进行压缩。
您还可以使用 CloudWatch Logs 集中化将来自多个账户和区域的日志数据复制到中心位置。有关更多信息,请参阅 跨账户跨区域日志集中化。
要开始订阅日志事件,请创建用于接收事件的接收资源,例如 Kinesis Data Streams 流。订阅筛选条件定义了筛选条件模式(用于筛选传输到您的Amazon资源的日志事件),以及有关匹配日志事件发送目的地的信息。日志事件在摄取后不久(通常不到三分钟)就会发送到接收资源。
注意
如果具有订阅的日志组使用日志转换,则会将筛选模式与日志事件的转换版本进行比较。有关更多信息,请参阅 在摄取期间转换日志。
您可以在账户级别和日志组级别创建订阅。每个账户对于每个区域可以有一个账户级订阅筛选条件。每个日志组最多只能有两个与其关联的订阅筛选条件。
注意
如果目标服务返回一个可重试错误,如限制异常或可重试服务异常(如 HTTP 5xx),则 CloudWatch Logs 将继续重试传输长达 24 小时。如果错误是不可重试错误(例如 AccessDeniedException 或 ResourceNotFoundException),则 CloudWatch Logs 不会尝试重试传输。在这些情况下,订阅筛选条件将被禁用长达 10 分钟,然后 CloudWatch Logs 会重试将日志发送到目的地。在此禁用期间,将跳过日志。
CloudWatch Logs 还会生成有关将日志事件转发到订阅的 CloudWatch 指标。有关更多信息,请参阅 使用 CloudWatch 指标进行监控。
您还可使用 CloudWatch Logs 订阅将日志数据近乎实时地流式传输到 Amazon OpenSearch Service 集群。有关更多信息,请参阅将 CloudWatch Logs 数据流式传输到 Amazon OpenSearch Service。
仅标准日志类中的日志组支持订阅。有关日志类的更多信息,请参阅 日志类。
注意
订阅筛选条件可能会批量记录事件以优化传输并减少对目的地的调用量。不保证使用批处理,但会尽可能地使用。