Amazon 的容器、队列和数据库指标 MWAA - Amazon Managed Workflows for Apache Airflow
术语维度访问指标指标的列表
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon 的容器、队列和数据库指标 MWAA

除了 Apache Airflow 指标外，您还可以使用监控适用于 Apache Airflow 环境的亚马逊托管工作流程的底层组件 CloudWatch，它收集原始数据并将数据处理为可读的近乎实时的指标。借助这些环境指标，您可以更清楚地了解关键性能指标，从而帮助您适当调整环境规模并调试工作流程中的问题。这些指标适用于亚马逊上所有支持的 Apache Airflow 版本。MWAA

亚马逊MWAA将提供CPU每个亚马逊弹性容器服务 (AmazonECS) 容器和亚马逊 Aurora Postgre SQL 实例的内存利用率，亚马逊简单队列服务 (AmazonSQS) 的消息数量和最旧消息的存在期限指标，亚马逊关系数据库服务 (AmazonRDS) 的数据库连接、磁盘队列深度、写入操作、延迟和吞吐量指标，以及亚马逊RDS代理指标。这些指标还包括基础工作线程、额外工作线程、计划程序和 Web 服务器的数量。

这些统计数据会保存 15 个月，从而使您能够访问历史信息，并能够更好地了解计划失败的原因，并对潜在问题进行故障排除。还可以设置特定阈值监视警报，在达到对应阈值时发送通知或采取行动。有关更多信息，请参阅 Amazon CloudWatch 用户指南。

术语

命名空间

命名空间是 Amazon 服务 CloudWatch 指标的容器。对于 Amazon 来说MWAA，命名空间是AWS/MWAA。

CloudWatch 指标

CloudWatch 指标表示特定于的一组按时间顺序排列的数据点。 CloudWatch

维度

维度是名称/值对，是指标身份的一部分。

单位

所有统计数据都有度量单位。对于亚马逊MWAA，单位包括数量。

维度

本节介绍中亚马逊MWAA指标的 CloudWatch 维度分组 CloudWatch。

维度 描述

集群

亚马逊MWAA环境用于运行 Apache Airflow 组件的最少三个亚马逊ECS容器的指标：计划程序、工作程序和 Web 服务器。

队列

Amazon SQS 队列的指标，用于将计划程序与工作人员分离。当工作线程阅读消息时，它们被视为机上信息，不适用于其他工作线程。如果消息在 12 小时可见性超时之前未被删除，则这些消息可供其他工作线程阅读。

数据库

亚马逊使用的 Aurora 集群的指标MWAA。这包括主数据库实例和支持读取操作的只读副本的指标。Amazon MWAA 会同时发布READER和WRITER实例的数据库指标。

在 CloudWatch 控制台中访问指标

本节介绍如何在中访问您的亚马逊MWAA指标 CloudWatch。

要查看维度的性能指标，请执行以下操作

  1. 在 CloudWatch 控制台上打开 “指标” 页面。

  2. 使用 Amazon 区域选择器选择您的区域。

  3. 选择 AWS/命MWAA名空间。

  4. 在所有指标选项卡中，选择一个维度。例如，集群。

  5. 为维 CloudWatch 度选择一个指标。例如，NumSchedulers 或 CPUUtilization。然后，选择绘制所有搜索结果的图表。

  6. 选择图表化指标选项卡以查看性能指标。

指标的列表

下表列出了 Amazon 的集群、队列和数据库服务指标MWAA。要查看亚马逊ECS、亚马逊或亚马逊直接发布的指标的描述RDS，请选择相应的文档链接。SQS

集群指标

以下指标适用于每个计划程序、基础工作线程、其他工作线程和 Web 服务器。有关每个集群指标的更多信息和描述，请参阅 Amazon ECS 开发者指南中的可用指标和维度。

命名空间 指标 单位

AWS/MWAA

CPUUtilization

百分比

AWS/MWAA

MemoryUtilization

百分比

评估额外 Worker 节点和 Web 服务器容器的数量

您可以按以下过程所述，使用集群维度下提供的组件指标来评估环境在给定时间点正在使用的额外 Worker 节点或 Web 服务器数量。为此，您可以绘制CPUUtilization或MemoryUtilization指标的图表，并将统计类型设置为 “样本数”。结果值是 AdditionalWorker 组件的 RUNNING 任务总数。了解环境使用的额外 Worker 节点实例数量，有助您衡量环境的扩缩情况，并有利于您优化额外 Worker 节点的数量。

Workers
要评估额外工作人员的人数，请使用 Amazon Web Services Management Console

  1. 选择 AWS/命MWAA名空间。

  2. 在所有指标选项卡中，选择集群维度。

  3. 在 “聚类” 维度下 AdditionalWorker，为选择CPUUtilization或MemoryUtilization指标。

  4. 在绘成图表的指标选项卡上，将周期设置为 1 分钟，将统计数据更改为样本数。

Web servers
要评估其他 Web 服务器的数量，请使用 Amazon Web Services Management Console

  1. 选择 AWS/命MWAA名空间。

  2. 在所有指标选项卡中，选择集群维度。

  3. 在 “聚类” 维度下 AdditionalWebservers，为选择CPUUtilization或MemoryUtilization指标。

  4. 在绘成图表的指标选项卡上，将周期设置为 1 分钟，将统计数据更改为样本数。

有关更多信息，请参阅《Amazon Elastic Container Service 开发人员指南》中的服务 RUNNING 任务数。

数据库指标

以下指标适用于与 Amazon MWAA 环境关联的每个数据库实例。

命名空间 指标 单位

AWS/MWAA

CPUUtilization

百分比

AWS/MWAA

DatabaseConnections

计数

AWS/MWAA

DiskQueueDepth

计数

AWS/MWAA

FreeableMemory

字节

AWS/MWAA

VolumeWriteIOPS

每 5 分钟计数

AWS/MWAA

WriteIOPS

每秒计数

AWS/MWAA

WriteLatency

秒

AWS/MWAA

WriteThroughput

每秒字节数

队列指标

有关以下队列指标的单位和描述的更多信息，请参阅《亚马逊简单队列服务开发者指南》SQS中的亚马逊可用 CloudWatch 指标。

命名空间 指标 单位

AWS/MWAA

ApproximateAgeOfOldestTask

秒

AWS/MWAA

RunningTasks

计数

AWS/MWAA

QueuedTasks

计数

应用程序负载均衡器指标

应用程序负载均衡器指标适用于在环境中运行的 Web 服务器。Amazon MWAA 使用这些指标根据流量扩展您的 Web 服务器。有关以下负载均衡器指标的单位和描述的更多信息，请参阅《应用程序负载均衡器用户指南》中的 Application Load Bal ancer CloudWatch 指标。

命名空间 指标 单位

AWS/MWAA

ActiveConnectionCount

计数