本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon MWAA 的容器、队列和数据库指标
除了 Apache Airflow 指标外,您还可以使用以下方式监控 Apache Airflow 环境的 Amazon 托管工作流程的基础组件 CloudWatch,它收集原始数据并将数据处理为可读的、近乎实时的指标。借助这些环境指标,您可以更清楚地了解关键性能指标,从而帮助您适当调整环境规模并调试工作流程中的问题。这些指标适用于 Amazon MWAA 上支持的所有 Apache Airflow 版本。
亚马逊 MWAA 将为每个亚马逊弹性容器服务 (Amazon ECS) 容器和 Amazon Aurora PostgreSQL 实例提供 CPU 和内存利用率,亚马逊简单队列服务 (Amazon SQS) 的消息数量和最旧消息时效的指标,用于数据库连接、磁盘队列深度、免费本地存储、写入操作、延迟和吞吐量的亚马逊关系数据库服务 (Amazon RDS) 指标,以及亚马逊 RDS 代理指标。这些指标还包括基础工作线程、额外工作线程、计划程序和 Web 服务器的数量。
这些统计数据会保存 15 个月,从而使您能够访问历史信息,并能够更好地了解计划失败的原因,并对潜在问题进行故障排除。您还可以设置警报来监控特定的阈值,并在达到那些阈值时发送通知或执行操作。有关更多信息,请参阅 亚马逊 CloudWatch 用户指南。
术语
- 命名空间
-
命名空间是容器 CloudWatch 的指标 Amazon 服务。Amazon MWAA 的命名空间为
AWS/MWAA。 - CloudWatch 指标
-
一个 CloudWatch 指标代表一组按时间排序的数据点,这些数据点特定于 CloudWatch。
- 维度
-
维度是 name/value 作为指标标识一部分的配对。
- 单位
-
所有统计数据都有度量单位。Amazon MWAA 的单位包括数量计数。
Dimensions
本节介绍了 CloudWatch 亚马逊 MWAA 指标的维度分组 CloudWatch。
| 维度 | 说明 |
|---|---|
|
Cluster |
Amazon MWAA 环境用于运行 Apache Airflow 组件的最少三个 Amazon ECS 容器的指标:调度器、Worker 节点和 Web 服务器。 |
|
队列 |
Amazon SQS 队列的指标,用于将计划程序与工作线程分离。当工作线程阅读消息时,它们被视为机上信息,不适用于其他工作线程。如果消息在 12 小时可见性超时之前未被删除,则这些消息可供其他工作线程读取。 |
|
数据库 |
Amazon MWAA 使用的 Aurora 集群的指标。这包括主数据库实例和支持读取操作的只读副本的指标。Amazon MWAA 同时发布 READER 和 WRITER 实例的数据库指标。 |
访问中的指标 CloudWatch 控制台
本节介绍如何在中访问您的亚马逊 MWAA 指标 CloudWatch。
访问维度的性能指标
-
打开 指标页面
在 CloudWatch 控制台。 -
选择你的 Amazon Web Services 区域。
-
选择 AWS/MWAA 命名空间。
-
在所有指标选项卡中,选择一个维度。例如,集群。
-
选择一个 CloudWatch 维度的指标。例如, NumSchedulers 要么 CPU 利用率。然后,选择绘制所有搜索结果的图表。
-
选择图表化指标选项卡以访问性能指标。
指标的列表
下表列出了 Amazon MWAA 的集群、队列和数据库服务指标。要访问直接从 Amazon ECS、Amazon SQS 或 Amazon RDS 发布的指标的描述,请选择相应的文档链接。
集群指标
以下指标适用于每个计划程序、基础工作线程、其他工作线程和 Web 服务器。有关这些指标的更多信息,请参阅 亚马逊 ECS 监控 和 亚马逊 ECS 容器洞察。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
百分比 |
|
|
|
百分比 |
|
|
|
兆字节 |
|
|
|
兆字节 |
|
|
|
Bytes/Second |
|
|
|
Bytes/Second |
评估额外工作线程和 Web 服务器容器的数量
您可以按以下过程所述,使用集群维度中提供的组件指标来评估环境在给定时间点正在使用的额外工作线程或 Web 服务器数量。你可以通过绘制任一图形来做到这一点 CPU 利用率 或者 MemoryUtilization 指标并将统计类型设置为 样本数。结果值是 AdditionalWorker 组件的 RUNNING 任务总数。了解环境使用的额外工作线程实例数量,有助您衡量环境的扩缩情况,并有利于您优化额外工作线程的数量。
有关更多信息,请参阅《Amazon Elastic Container Service 开发人员指南》中的服务 RUNNING 任务数。
数据库指标
以下指标适用于与 Amazon MWAA 环境关联的每个数据库实例。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
百分比 |
|
|
|
计数 |
|
|
|
计数 |
|
|
|
字节 |
|
|
|
字节 |
|
|
|
每 5 分钟计数 |
|
|
|
每秒计数 |
|
|
|
秒 |
|
|
|
每秒字节数 |
队列指标
有关以下队列指标的单位和描述的更多信息,请参阅 可用 CloudWatch 亚马逊 SQS 的指标 在 亚马逊简单队列服务开发者指南。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
秒 |
|
|
|
计数 |
|
|
|
计数 |
应用程序负载均衡器指标
应用程序负载均衡器指标适用于在环境中运行的 Web 服务器。Amazon MWAA 根据流量大小,使用这些指标来扩展 Web 服务器。有关以下负载均衡器指标的单位和描述的更多信息,请参阅 CloudWatch 应用程序负载均衡器的指标 在 应用程序负载均衡器用户指南。
| 命名空间 | 指标 | 单位 |
|---|---|---|
|
|
|
计数 |