CloudWatch 管道
CloudWatch 管线是一个完全托管的数据收集器，用于从 Amazon 服务、第三方应用程序和自定义源摄取、转换遥测数据（包括日志和指标），并将其路由到 CloudWatch。内置处理器能够让您对日志进行丰富、筛选和标准化处理，使其符合 OCSF 之类的格式，而无需管理基础设施或第三方工具。对于指标，CloudWatch 管线会在将 OpenTelemetry（OTel）指标摄取到 CloudWatch 期间对其进行内联处理和丰富。
CloudWatch 管道与日志管理体验完全集成，使您能够通过数据来源和数据类型规范，在相关日志组范围内一致地处理和丰富日志数据。这可以解锁类似下面的使用案例：
-
自动对日志进行分类：通过管道处理的日志会自动标记上数据来源信息，从而能够实现以服务为中心的基础设施范围内的发现和查询操作
-
扩大对第三方的支持：对来自不断扩大的第三方来源的日志进行汇总和规范化处理，以便实现统一的分析和合规管理
对于指标，CloudWatch 管线支持以下使用案例：
-
丰富：将团队、成本中心或环境等业务上下文添加到来自您无法修改的来源的指标中
-
成本优化：删除高基数属性以降低存储成本
-
标准化：重命名指标和属性以强制执行命名约定
管道的输出完全兼容 CloudWatch Logs 的各项功能，包括 Logs Insights 查询、日志异常检测和 Live Tail。CloudWatch 管道既适用于标准访问日志类别，也适用于非频繁访问日志类别，并且向后兼容日志转换器。
对于指标管线，处理后的指标可通过 Query Studio 中的 PromQL 进行完全查询，并且与 CloudWatch 警报和异常检测兼容。
要开始使用 CloudWatch 管道，请访问 CloudWatch 控制台中的 CloudWatch 摄取页面中的管道
注意
请注意，CloudWatch 管道适用以下限制条件
-
每个账户的日志管线数：330
-
从 CloudWatch Logs 收集数据的管道最多可创建 300 个
-
从其他数据来源收集数据的管道最多可创建 30 个
-
-
每个账户的指标管线数：最多 300 个
-
每个管线最多 20 个处理器（日志和指标）
-
指标管线支持的摄取路径：仅限 OTLP
管道组件
每个管道包括以下组成部分：
-
来源：定义数据的来源，即 Amazon S3 存储桶、CloudWatch Logs、CloudWatch 指标（OTel）、第三方集成。每条管道必须恰好有一个来源。指标管线处理 OTLP 摄取路径上的 OTel 指标。
-
处理器（可选）：在遥测数据流经管线时，对数据进行转换、解析和丰富。将处理器按照定义处理器的顺序依次应用。指标管线支持一组针对 OTel 指标属性进行了优化的不同处理器。
-
接收器：定义已处理数据的发送目标。支持的接收器类型包括
cloudwatch_logs和cloudwatch_metrics。每条管道必须恰好有一个接收器。 -
扩展（可选）：提供其他功能，例如用于凭证管理的 Amazon Secrets Manager 集成。
在整个管线中，数据始终受到传输层加密的保护，以确保数据符合安全性和合规性要求。
注意
管线定义不使用客户提供的密钥进行加密，并且绝不能包含敏感数据，例如密码、API 密钥或个人身份信息（PII）。
注意
添加处理器会导致日志事件发生变更，且原始日志不会被保留。
定价
CloudWatch Logs 中包含了 CloudWatch 管道，无需额外费用。基于日志类别（已出售或自定义）和存储类别（标准或低频率访问）的标准日志摄入费率仍然适用。计量在第一次摄取到 CloudWatch 时进行。CloudWatch Logs 的来源在管道处理之前进行计量。第三方和 S3 存储桶源被分类为自定义日志，并在处理后进行计量。有关定价详细信息，请参阅 CloudWatch 定价
对于指标管线，将收取标准 CloudWatch OTel 指标摄取和存储费用。管线处理不收取任何额外费用。
区域可用性
CloudWatch 管道在以下 Amazon 区域提供服务：
-
美国东部（弗吉尼亚州北部）
-
美国东部（俄亥俄州）
-
美国西部（北加利福尼亚）
-
美国西部（俄勒冈州）
-
非洲（开普敦）
-
亚太地区（香港）
-
亚太地区（海得拉巴）
-
亚太地区（雅加达）
-
亚太地区（马来西亚）
-
亚太地区（墨尔本）
-
亚太地区（孟买）
-
亚太地区（新西兰）
-
亚太地区（大阪）
-
亚太地区（首尔）
-
亚太地区（新加坡）
-
亚太地区（悉尼）
-
亚太地区（台北）
-
亚太地区（泰国）
-
亚太地区（东京）
-
加拿大（中部）
-
加拿大西部（卡尔加里）
-
欧洲地区（法兰克福）
-
欧洲地区（爱尔兰）
-
欧洲地区（伦敦）
-
欧洲地区（米兰）
-
欧洲地区（巴黎）
-
欧洲（西班牙）
-
欧洲地区（斯德哥尔摩）
-
欧洲（苏黎世）
-
以色列（特拉维夫）
-
墨西哥（中部）
-
南美洲（圣保罗）
注意
第三方数据来源收集功能，仅在 OpenSearch Ingestion 服务部署了 API 端点的区域可用。
有关更多信息，请参阅《Amazon Web Services 一般参考》中的 Amazon CloudWatch 端点和配额。