设置要流式传输到 Amazon 服务的指标流(数据湖方案) - Amazon CloudWatch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

设置要流式传输到 Amazon 服务的指标流(数据湖方案)

您可以使用 CloudWatch 控制台、Amazon CLI、Amazon CloudFormation 或 Amazon Cloud Development Kit (CDK) 设置指标流。

您用于指标流的 Kinesis Data Firehose 传输流必须位于指标流设置所在的同一账户和区域中。要实现跨区域功能,您可以将 Kinesis Data Firehose 传输流配置为流式传输到位于不同账户或不同区域中的最终目标位置。

CloudWatch 控制台

本部分介绍如何使用 CloudWatch 控制台设置要传输到另一 Amazon 服务的指标流。

在使用控制台设置指标流时,您可以选择 Quick S3 Setup(快速 S3 设置)。如果希望最终以 JSON 格式输出或由 Amazon Athena 查询,此方法非常有用。如果您希望最终格式为 Parquet 格式或 Optimized Row Columnar (ORC),则应创建自己的 Kinesis Data Firehose 传输流,然后选择 Select an existing Firehose owned by your account(选择您账户拥有的现有 Firehose)而不是选择 Quick S3 Setup(快速 S3 设置)

设置要流式传输到 Amazon 服务的指标流

  1. 访问 https://console.aws.amazon.com/cloudwatch/,打开 CloudWatch 控制台。

  2. 在导航窗格中,依次选择 Streams(流)Create stream(创建流)

  3. 选择要包括在指标流中的 CloudWatch 指标命名空间。

    • 若要将所有或大部分指标命名空间包括在指标流中,请选择 All metrics(所有指标)

      然后,如果要从流中排除某些指标命名空间,请选择 Exclude metric namespaces(排除指标命名空间),然后选择要排除的命名空间。

    • 若要在指标流中仅包括几个指标命名空间,请选择 Selected namespaces(已选命名空间),然后选择要包括的命名空间。

    注意

    请仔细考虑是否要流式传输所有指标,因为流式传输的指标越多,您的指标流费用就越高。

  4. 选择以下选项之一:

    • 要快速设置,请选择 Quick S3 setup(快速 S3 设置)。CloudWatch 将创建所有必要的资源,包括 Kinesis Data Firehose 传输流和必要的 IAM 角色。此选项的默认格式为 JSON,但您可以在此程序的稍后步骤中更改格式。

    • 若要使用已存在的 Kinesis Data Firehose 传输流,请选择 Select an existing Firehose owned by your account(选择您账户拥有的现有 Firehose)。Kinesis Data Firehose 传输流必须位于同一个账户中。此选项的默认格式为 OpenTelemetry,但您可以在此程序的稍后步骤中更改格式。

      然后在 Select your Kinesis Data Firehose delivery stream(选择您的 Kinesis Data Firehose 传输流)下选择要使用的 Kinesis Data Firehose 传输流。

  5. (可选)如果您使用的是 Quick S3 Setup(快速 S3 设置),您可以选择 Select existing resources(选择现有资源)以使用现有 S3 存储桶或现有 IAM 角色,而不是让 CloudWatch 为您创建新的存储桶或 IAM 角色。

  6. (可选)如果您使用的是 Select an existing Firehose owned by your account(选择您账户拥有的现有 Firehose),您可以选择 Select existing service role(选择现有服务角色)以使用现有 IAM 角色,而不是让 CloudWatch 为您创建新角色。

  7. (可选)要更改方案的默认输出格式,请选择 Change output format(更改输出格式)。支持的格式为 JSON 和 OpenTelemetry 0.7.0。

  8. (可选)可以在 Metric stream name(指标流名称)下自定义新指标流的名称。

  9. 选择 Create metric filter(创建指标流)

Amazon CLI 或 Amazon API

使用以下步骤创建要流式传输到另一 Amazon 服务的 CloudWatch 指标流。

使用 Amazon CLI 或 Amazon API 创建指标流

  1. 如果您要流式传输到 Amazon S3,请先创建存储桶。有关更多信息,请参阅创建存储桶

  2. 创建 Kinesis Data Firehose 传输流。有关更多信息,请参阅创建 Amazon Kinesis Data Firehose 传输流

  3. 创建使 CloudWatch 能够向 Kinesis Data Firehose 传输流写入的 IAM 角色。有关该角色内容的更多信息,请参阅 CloudWatch 和 Kinesis Data Firehose 之间的信任关系

  4. 使用 aws cloudwatch put-metric-stream CLI 命令或 PutMetricStream API 来创建 CloudWatch 指标流。

Amazon CloudFormation

您可以使用 Amazon CloudFormation 设置指标流。有关更多信息,请参阅 AWS::CloudWatch::MetricStream

使用 Amazon CloudFormation 创建指标流

  1. 如果您要流式传输到 Amazon S3,请先创建存储桶。有关更多信息,请参阅创建存储桶

  2. 创建 Kinesis Data Firehose 传输流。有关更多信息,请参阅创建 Amazon Kinesis Data Firehose 传输流

  3. 创建使 CloudWatch 能够向 Kinesis Data Firehose 传输流写入的 IAM 角色。有关该角色内容的更多信息,请参阅 CloudWatch 和 Kinesis Data Firehose 之间的信任关系

  4. 在 Amazon CloudFormation 中创建指标流。有关更多信息,请参阅 AWS::CloudWatch::MetricStream

Amazon Cloud Development Kit (CDK)

您可以使用 Amazon Cloud Development Kit (CDK) 设置指标流。

使用 Amazon CDK 创建指标流

  1. 如果您要流式传输到 Amazon S3,请先创建存储桶。有关更多信息,请参阅创建存储桶

  2. 创建 Kinesis Data Firehose 传输流。有关更多信息,请参阅创建 Amazon Kinesis Data Firehose 传输流

  3. 创建使 CloudWatch 能够向 Kinesis Data Firehose 传输流写入的 IAM 角色。有关该角色内容的更多信息,请参阅 CloudWatch 和 Kinesis Data Firehose 之间的信任关系

  4. 创建指标流。指标流资源在 Amazon CDK 中作为名为 CfnMetricStream 的 Level 1 (L1) Construct 提供。有关更多信息,请参阅使用 L1 Construct