使用 CloudWatch 指标监控 Apache Spark 计算 - Amazon Athena
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用 CloudWatch 指标监控 Apache Spark 计算

选择启用 Spark 的工作组的 Publish CloudWatch metrics 选项后,Athena 会向 Amazon CloudWatch 发布与计算相关的指标。在 CloudWatch 控制台中,您可以创建自定义控制面板,并为指标设置警报和触发器。

Athena 会将以下指标发布到 AmazonAthenaForApacheSpark 命名空间下的 CloudWatch 控制台:

  • DPUCount – 会话期间为执行计算而使用的 DPU 数量。

该指标具有以下维度:

  • SessionId – 提交计算的会话 ID。

  • WorkGroup – 工作组名称。

在 Amazon CloudWatch 控制台中查看启用 Spark 的工作组的指标
  1. 通过 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格中,依次选择 Metrics(指标)、All metrics(所有指标)。

  3. 选择 AmazonAthenaForApacheSpark 命名空间。

借助 CLI 查看指标
  • 请执行以下操作之一:

    • 要列出启用 Spark 的 Athena 工作组指标,请打开命令提示符,然后使用以下命令:

      aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"
    • 要列出所有可用的指标,请使用以下命令:

      aws cloudwatch list-metrics

在 Athena 中进行 Apache Spark 计算的 CloudWatch 指标与维度列表

如果您在启用 Spark 的 Athena 工作组中启用了 CloudWatch 指标,Athena 会按工作组将以下指标发送到 CloudWatch。该指标使用 AmazonAthenaForApacheSpark 命名空间。

指标名称 描述
DPUCount 会话期间为执行计算而使用的 DPU(数据处理单元)数量。DPU 是对处理能力的相对度量,它由 4 个 vCPU 的计算容量和 16GB 内存组成。

该指标具有以下维度。

维度 描述
SessionId

提交计算的会话 ID。

工作组

工作组的名称。