Amazon MWAA 的容器、队列和数据库指标
除了 Amazon MWAA 的指标外，您还可以使用 CloudWatch 监控 Amazon MWAA 环境的底层组件。CloudWatch 收集原始数据并将数据处理成可读的、近乎实时的指标。借助这些环境指标，您可以更清楚地了解关键性能指标，从而帮助您适当调整环境规模并调试工作流程中的问题。这些指标适用于 Amazon MWAA 上支持的所有 Apache Airflow 版本。
Amazon MWAA 将为每个 Amazon Elastic Container Service（Amazon ECS）容器和 Amazon Aurora PostgreSQL 实例提供 CPU 和内存使用率，提供 Amazon Simple Queue Service（Amazon SQS）指标指示消息数量和最旧消息存放时间，提供 Amazon Relational Database Service（Amazon RDS）指标指示数据库连接、队列磁盘深度、写入操作、延迟和吞吐量，以及提供 Amazon RDS 代理指标。这些指标还包括基础工作线程、额外工作线程、计划程序和 Web 服务器的数量。
这些统计数据会保存 15 个月，从而使您能够访问历史信息，并能够更好地了解计划失败的原因，并对潜在问题进行故障排除。您还可以设置警报来监控特定的阈值，并在达到那些阈值时发送通知或执行操作。有关更多信息，请参阅 Amazon CloudWatch 用户指南。
术语
- 命名空间
-
命名空间是用于 Amazon 服务的 CloudWatch 指标的容器。Amazon MWAA 的命名空间为
AWS/MWAA。 - CloudWatch 指标
-
CloudWatch 指标表示 CloudWatch 特定的并且按时间排序的数据点集。
- 维度
-
维度是名称/值对，是指标身份的一部分。
- 单位
-
所有统计数据都有度量单位。Amazon MWAA 的单位包括数量计数。
维度
本节介绍了 CloudWatch 中 Amazon MWAA 指标的 CloudWatch 维度分组。
| 维度 | 描述 |
|---|---|
|
集群 |
Amazon MWAA 环境用于运行 Apache Airflow 组件的最少三个 Amazon ECS 容器的指标：调度器、Worker 节点和 Web 服务器。 |
|
队列 |
Amazon SQS 队列的指标，用于将计划程序与工作线程分离。当工作线程阅读消息时，它们被视为机上信息，不适用于其他工作线程。如果消息在 12 小时可见性超时之前未被删除，则这些消息可供其他工作线程读取。 |
|
数据库 |
Amazon MWAA 使用的 Aurora 集群的指标。这包括主数据库实例和支持读取操作的只读副本的指标。Amazon MWAA 同时发布 READER 和 WRITER 实例的数据库指标。 |
访问 CloudWatch 控制台的指标
本节介绍如何在 CloudWatch 中访问 Amazon MWAA 指标。
访问维度的性能指标
-
在 CloudWatch 控制台上打开指标页面
。 -
选择您的Amazon Web Services 区域。
-
选择 AWS/MWAA 命名空间。
-
在所有指标选项卡中，选择一个维度。例如，集群。
-
选择 CloudWatch 指标维度。例如，NumSchedulers 或 CPUUtilization。然后，选择绘制所有搜索结果的图表。
-
选择图表化指标选项卡以访问性能指标。
指标的列表
下表列出了 Amazon MWAA 的集群、队列和数据库服务指标。要访问直接从 Amazon ECS、Amazon SQS 或 Amazon RDS 发布的指标的描述，请选择相应的文档链接。
集群指标
以下指标适用于每个计划程序、基础工作线程、其他工作线程和 Web 服务器。有关每个集群指标的更多信息和描述，请参阅《Amazon ECS 开发人员指南》中的可用指标和维度。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
百分比 |
|
|
|
百分比 |
评估额外工作线程和 Web 服务器容器的数量
您可以按以下过程所述，使用集群维度中提供的组件指标来评估环境在给定时间点正在使用的额外工作线程或 Web 服务器数量。要执行此操作，您可以绘制 CPUUtilization 或 MemoryUtilization 指标的图表，并将统计类型设置为样本数。结果值是 AdditionalWorker 组件的 RUNNING 任务总数。了解环境使用的额外工作线程实例数量，有助您衡量环境的扩缩情况，并有利于您优化额外工作线程的数量。
有关更多信息，请参阅《Amazon Elastic Container Service 开发人员指南》中的服务 RUNNING 任务数。
数据库指标
以下指标适用于与 Amazon MWAA 环境关联的每个数据库实例。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
百分比 |
|
|
|
计数 |
|
|
|
计数 |
|
|
|
字节 |
|
|
|
每 5 分钟计数 |
|
|
|
每秒计数 |
|
|
|
秒 |
|
|
|
每秒字节数 |
队列指标
有关以下队列指标的单位和描述的更多信息，请参阅《Amazon Simple Queue Service 开发人员指南》中的 Amazon SQS 的可用 CloudWatch 指标。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
秒 |
|
|
|
计数 |
|
|
|
计数 |
Application Load Balancer 指标
应用程序负载均衡器指标适用于在环境中运行的 Web 服务器。Amazon MWAA 根据流量大小，使用这些指标来扩展 Web 服务器。有关以下负载均衡器指标的单位和描述的更多信息，请参阅《应用程序负载均衡器用户指南》中的 CloudWatch metrics for your Application Load Balancer。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
计数 |