在摄取期间转换日志 - Amazon CloudWatch 日志
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在摄取期间转换日志

通过日志转换和充实,在将所有日志摄入日志时,您可以将所有日志标准化为一致且上下文丰富的格式。 CloudWatch 您可以为常见Amazon服务(例如Amazon WAF和 Amazon Route 53)使用预先配置的模板为日志添加结构,也可以使用 Grok 等原生解析器构建自定义转换器。您还可以重命名现有属性,并向日志添加其他元数据(例如,账户 ID 和区域)。

日志转换有助于简化和缩短应用程序中的日志查询,并有助于简化在日志上创建警报的过程。此功能通过主要Amazon日志源(如 VPC 流日志、Route 53 和)的 out-of-the-box转换模板为常见日志类型提供转换Amazon RDS for PostgreSQL。您可以使用预配置的转换模板,也可以创建自定义转换器以满足您的需求。

日志转换可帮助您管理从格式和属性名称差异很大的源发出的日志。

创建转换器后,摄取的日志事件将以标准格式转换和存储。您可以利用这些转换后的日志,通过以下功能加速您的分析体验:

转换仅在日志摄取期间进行。您无法转换已摄取的日志事件。转换操作不可逆。原始日志和转换后的日志都存储在具有相同保留策略的 CloudWatch 日志中。日志转换和丰富功能包含在现有的标准日志类摄取价格中。日志存储成本将根据转换后的日志大小计算,这可能会超过原始日志量。

重要

转换日志事件后,您必须使用 Lo CloudWatch gs Insights 查询来查看转换后的日志版本。 GetLogEvents FilterLogEvents操作仅返回日志事件在转换之前的原始版本。

重要

尽管单个日志事件最多 PutLogEvents 允许 1MB,但日志转换只能处理大小小于 512kb 的日志事件。任何大于 512kb 的日志事件都将在转换中失败并发出错误。的总大小仍然 PutLogEvents 可以超过 512kb。

除了转换为不同的格式外,您还可以使用其他上下文(例如,账户 ID、区域和关键字)丰富日志。这些信息是从日志组名称和静态关键字中提取的。

日志转换可帮助您处理从格式和属性名称差异很大的源发出的日志。

仅标准日志类中的日志组支持日志转换和丰富功能。

您可以为单个日志组创建转换器,也可以创建适用于账户中所有或多个日志组的账户级转换器。如果某个日志组具有日志组级转换器,则该转换器会覆盖原本适用于该日志组的任何账户级转换器。