监控 CloudWatch 事件
Amazon EMR 跟踪事件并保存其相关信息最多七天。集群状态、实例组、自动扩展策略和步骤方面的更改都会导致系统记录事件。每个事件都有事件发生日期及时间等信息,以及有关事件的详细信息,如受影响的集群或实例组。
下表列出了 Amazon EMR 事件,以及事件指示的状态或状态变更、事件的严重性和事件消息。每个事件都以 JSON 对象表示,后者会自动发送到事件流。当您设置规则以使用 CloudWatch Events 进行事件处理时,JSON 对象特别重要,因为规则需要在此 JSON 对象中查找匹配模式。有关更多信息,请参阅《Amazon CloudWatch Events 用户指南》中的事件和事件模式和Amazon EMR 事件。
集群事件
状态或状态变更 | 严重性 | 消息 |
---|---|---|
|
|
已于 |
|
|
仅适用于带实例队列配置和 VPC 中选定的多个子网的集群。 Amazon EMR 集群 |
|
|
仅适用于带实例队列配置和 EC2-Classic 中选定的多个可用区的集群。 Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 - 或者 - Amazon EMR 集群 处于 |
|
严重性视状态变更原因而定,如下所述:
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
实例集事件
实例集配置仅在 Amazon EMR 发行版 4.8.0 及更高版本(不包括 5.0.0 和 5.0.3)中可用。
状态或状态变更 | 严重性 | 消息 |
---|---|---|
从 |
|
对 Amazon EMR 集群 |
从 |
|
Amazon EMR 集群 |
从 |
|
对 Amazon EMR 集群 |
从 |
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
对 Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
实例组事件
状态或状态变更 | 严重性 | 消息 |
---|---|---|
从 |
|
对 Amazon EMR 集群 |
从 |
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
对 Amazon EMR 集群 |
从 |
|
Amazon EMR 集群 |
对于 Amazon EMR 5.21.0 及更高版本,您可以覆盖集群配置,并为运行的集群中的每个实例组指定额外的配置分类。要完成此操作,您可以使用 Amazon EMR 控制台、Amazon Command Line Interface(Amazon CLI)或 Amazon SDK。有关更多信息,请参阅为运行的集群中的实例组提供配置。
下表列出了重新配置操作的 Amazon EMR 事件,以及事件指示的状态或状态变更、事件的严重性和事件消息。
状态或状态变更 | 严重性 | 消息 |
---|---|---|
|
|
Amazon EMR 集群 |
从 |
|
对 Amazon EMR 集群 |
从 |
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 ClusterId (ClusterName) 中实例组 InstanceGroupID 的实例计数 Num 调整大小操作在 Time 被临时阻止,因为实例组处于 State 状态。 |
|
|
Amazon EMR 集群 |
|
|
配置正在恢复到之前在 Amazon EMR 集群 |
从 |
|
配置已成功恢复到之前在 Amazon EMR 集群 |
从 |
|
无法恢复到之前在 Amazon EMR 集群 |
自动伸缩策略事件
状态或状态变更 | 严重性 | 消息 |
---|---|---|
|
|
Auto Scaling 策略已于 - 或者 - Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 - 或者 - Amazon EMR 集群 |
步骤事件
状态或状态变更 | 严重性 | 消息 |
---|---|---|
|
|
步骤 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
|
|
Amazon EMR 集群 |
使用 Amazon EMR 控制台查看事件
对于每个集群,您可以在详细信息窗格中查看简单的事件列表,该列表按发生顺序降序列出事件。您还可以按照事件发生顺序的降序查看区域中所有集群的所有事件。
如果您不希望用户查看区域的所有集群事件,请向附加到用户的策略添加一条语句,该语句拒绝对 "Effect": "Deny"
操作的权限 (elasticmapreduce:ViewEventsFromAllClustersInConsole
)。
查看区域中所有集群的事件
-
通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/
。 -
选择 Events (事件)。
查看特定集群的事件
-
通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/
。 -
选择 Cluster List (集群列表),选择一个集群,然后选择 View details (查看详细信息)。
-
在集群详细信息窗格中选择 Events (事件)。
使用 CloudWatch 为 Amazon EMR 事件创建规则
Amazon EMR 自动将事件发送到 CloudWatch 事件流。您可以根据特定的模式创建匹配事件的规则,以便将事件路由到目标来执行操作,如发送电子邮件通知。针对事件的 JSON 对象匹配模式。有关 Amazon EMR 事件的详细信息,请参阅《Amazon CloudWatch Events 用户指南》中的 Amazon EMR 事件。
有关设置 CloudWatch 事件规则的信息,请参阅创建触发事件的 CloudWatch 规则。