本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用监控亚马逊EMR事件 CloudWatch
Amazon 会EMR跟踪事件,并在亚马逊EMR控制台中将有关事件的信息保存长达七天。当集群、实例组、实例队列、自动扩展策略或步骤的状态发生变化时,Amazon 会EMR记录事件。事件捕获事件发生的日期和时间、有关受影响元素的详细信息以及其他关键数据点。
下表列出了 Amazon EMR 事件,以及该事件表示的状态或状态变化、事件的严重性、事件类型、事件代码和事件消息。Amazon 将事件EMR表示为JSON对象,并自动将其发送到事件流。当您使用 CloudWatch 事件设置事件处理规则时,该JSON对象很重要,因为规则会寻求匹配JSON对象中的模式。有关更多信息,请参阅 Amazon Events 用户指南中的EMR事件和事件模式以及亚马逊 CloudWatch 事件。
注意
为确保向您提供最相关的信息,我们会不断完善错误消息。因此,建议您不要通过解析消息中的文本来启动工作流中的后续操作。
集群启动事件
状态或状态变更 | 严重性 | 事件类型 | 事件代码 | 消息 |
---|---|---|---|---|
CREATING |
WARN |
EMR实例队列配置 | EC2配置-实例容量不足 | 我们无法ClusterId
(ClusterName) 为实例队列创建您的 Amazon EMR 集群 InstanceFleetID Amazon EC2 实例类型的[Instancetype1, Instancetype2] 竞价容量不足,可用区域[Instancetype3,
Instancetype4] 中的实例类型的按需容量不足[AvailabilityZone1,
AvaliabilityZone2] 。有关如何应对此事件的更多信息,请查看此处的文档。 |
CREATING |
WARN |
EMR实例组配置 | EC2配置-实例容量不足 | 我们无法ClusterId
(ClusterName) 为实例组创建您的 Amazon EMR 集群 InstanceGroupID Amazon EC2 实例类型的竞价容量不足[Instancetype1, Instancetype2] ,可用区域[Instancetype3,
Instancetype4] 中的实例类型的按需容量不足[AvailabilityZone1,
AvaliabilityZone2] 。有关如何应对此事件的更多信息,请查看此处的文档。 |
CREATING |
WARN |
EMR实例队列配置 | EC2配置-子网中的可用地址不足 | 我们无法创建您为实例队列请求ClusterId (ClusterName) 的 Amazon EMR 集群,InstanceFleetID 因为指定的子网中[Subnet1, Subnet2] 没有足够的免费私有 IP 地址来满足您的请求。使用 DescribeSubnets 操作查看您的子网中有多少 IP 地址可用(未使用)。有关如何响应此事件的信息,请参阅 Amazon 的错误代码 EC2 API |
CREATING |
WARN |
EMR实例组配置 | EC2配置-子网中的可用地址不足 | 我们无法创建您为实例组请求ClusterId (ClusterName) 的 Amazon EMR 集群,InstanceGroupID 因为指定的子网中[Subnet1, Subnet2] 没有足够的免费私有 IP 地址来满足您的请求。使用 DescribeSubnets 操作查看您的子网中有多少 IP 地址可用(未使用)。有关如何响应此事件的信息,请参阅 Amazon 的错误代码 EC2 API |
CREATING
|
WARN
|
EMR实例队列配置 |
EC2配置 — v 已超出CPU限制 |
Amazon EMR 集群InstanceFleetID ClusterId (ClusterName) 中的配置会延迟,因为您已达到分配给中正在运行的实例的 vCPUs (虚拟处理单元)数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码 EC2 API |
CREATING
|
WARN
|
EMR实例组配置 |
EC2配置 — v 已超出CPU限制 |
由于您的账户InstanceGroupID 中已达到分配给ClusterId 正在运行的实例的 vCPUs (虚拟处理单元)数量上限,Amazon EMR 集群中实例组的配置会延迟(accountId) 。有关更多信息,请参阅 Amazon 的错误代码 EC2 API |
CREATING
|
WARN
|
EMR实例队列配置 |
EC2预配置-已超出 Spot 实例数量限制 |
Amazon EMR 集群InstanceFleetID 中实例队列的配置ClusterID (ClusterName) 被延迟,因为您已达到可在中启动的竞价型实例数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码EC2API。 |
CREATING
|
WARN
|
EMR实例组配置 |
EC2预配置-已超出 Spot 实例数量限制 |
Amazon EMR 集群InstanceGroupID 中实例组的配置ClusterID (ClusterName) 被延迟,因为您已达到可在中启动的竞价型实例数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码EC2API。 |
CREATING
|
WARN
|
EMR实例队列配置 |
EC2预配置-已超出实例限制 |
Amazon EMR 集群InstanceFleetID ClusterId (ClusterName) 中实例队列的配置会延迟,因为您已达到可在集群中同时运行的实例数量上限。account (accountID) 有关亚马逊EC2服务限制的更多信息,请参阅亚马逊的错误代码EC2API。 |
CREATING
|
WARN
|
EMR实例组配置 |
EC2预配置-已超出实例限制 |
Amazon EMR 集群InstanceGroupID ClusterId (ClusterName) 中实例组的配置会延迟,因为您已达到可在集群中同时运行的实例数量上限。account (accountID) 有关亚马逊EC2服务限制的更多信息,请参阅亚马逊的错误代码EC2API。 |
CREATING |
WARN |
EMR实例组配置 |
none |
Amazon EMR 集群创建 –或者– Amazon EMR 集群 注意处于 |
STARTING
|
INFO
|
EMR集群状态更改 |
none |
已在请求 |
STARTING
|
INFO
|
EMR集群状态更改 |
none |
注意仅适用于具有实例队列配置且在 Amazon EC2 内选择了多个可用区的集群。
|
STARTING
|
INFO
|
EMR集群状态更改 |
none |
Amazon EMR 集群 |
WAITING
|
INFO
|
EMR集群状态更改 |
none |
Amazon EMR 集群创建 –或者– Amazon EMR 集群 注意处于 |
注意
当您的EMR集群在创建集群或调整集群大小操作期间遇到来自 Amazon EC2 的实例队列或实例组容量不足错误时,会EC2 provisioning - Insufficient Instance
Capacity
定期发出带有事件代码的事件。有关如何响应这些事件的更多信息,请参阅 响应 Amazon EMR 集群实例容量不足事件。
集群终止事件
状态或状态变更 | 严重性 | 事件类型 | 事件代码 | 消息 |
---|---|---|---|---|
TERMINATED
|
严重性视状态变更原因而定,如下所述:
|
EMR集群状态更改 |
none |
Amazon EMR 集群 |
TERMINATED_WITH_ERRORS
|
CRITICAL
|
EMR集群状态更改 |
none |
Amaz |
TERMINATED_WITH_ERRORS
|
CRITICAL
|
EMR集群状态更改 |
none |
Amaz |
实例集状态更改事件
注意
实例队列配置仅在亚马逊 4.8.0 及更高EMR版本中可用,不包括 5.0.0 和 5.0.3。
状态或状态变更 | 严重性 | 事件类型 | 事件代码 | 消息 |
---|---|---|---|---|
从 |
INFO
|
none | Amazon EMR 集群 |
|
从 |
INFO
|
none | Amazon EMR 集群 |
|
从 |
INFO
|
none | Amazon EMR 集群 |
|
从 |
INFO
|
none | Amazon EMR 集群 |
|
SUSPENDED
|
ERROR
|
none | 由于以下原因 |
|
RESIZING
|
WARNING
|
none | 由于以下原因,Amazon EMR 集群 |
|
|
INFO
|
none | 当 Amazon 在可用区域 |
|
|
INFO
|
none | Amazon EMR 集群 |
实例集大小调整事件
事件类型 | 严重性 | 事件代码 | 消息 |
---|---|---|---|
EMR调整实例队列大小 |
ERROR |
竞价型预置超时 |
|
EMR调整实例队列大小 |
ERROR |
按需预置超时 |
|
EMR调整实例队列大小 |
WARNING |
EC2配置-实例容量不足 | 我们无法完成EMR集群 |
EMR调整实例队列大小 |
WARNING |
竞价型预置超时 – 继续调整大小 |
我们仍在为实例队列调整大小操作预置 Spot 容量,该操作在可用区 |
EMR调整实例队列大小 |
WARNING |
按需预置超时 – 继续调整大小 |
我们仍在为实例队列调整操作预置按需容量,该操作在可用区 |
EMR调整实例队列大小 |
WARNING |
EC2配置-子网中的可用地址不足 |
我们无法完成 Amazon EMR 集群InstanceFleetID 中实例队列的大小调整操作,ClusterId (ClusterName) 因为指定的子网 [Subnet1,Subnet2] 不包含足够的免费私有 IP 地址来满足您的请求。使用 DescribeSubnets 操作查看您的子网中有多少 IP 地址可用(未使用)。有关如何响应此事件的信息,请参阅 Amazon 的错误代码EC2API。 |
EMR调整实例队列大小 |
WARNING |
EC2配置-v 已超出CPU限制 |
Amazon EMR 集群InstanceFleetID ClusterName 中实例队列的大小会延迟,因为您已达到分配给中正在运行的实例的 vCPUs (虚拟处理单元)数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码EC2API。 |
EMR调整实例队列大小 |
WARNING |
EC2预配置-已超出 Spot 实例数量限制 |
Amazon EMR 集群InstanceFleetID 中实例队列的配置ClusterID (ClusterName) 被延迟,因为您已达到可在中启动的竞价型实例数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码EC2API。 |
EMR调整实例队列大小 |
WARNING |
EC2置备-已超出实例限制 |
Amazon EMR 集群InstanceFleetID ClusterID (ClusterName) 中实例队列的配置会延迟,因为您已达到可在中运行的按需实例数量的限制account (accountId) 。有关 Amazon 错误代码的更多信息EC2API。 |
注意
超时到期后,当 Amazon EMR 停止为队列配置 Spot 或按需容量时,就会发出配置超时事件。有关如何响应这些事件的更多信息,请参阅 响应 Amazon EMR 集群实例队列调整大小超时事件。
实例组事件
事件类型 | 严重性 | 事件代码 | 消息 |
---|---|---|---|
从 |
INFO
|
none | Amazon EMR 集群 |
从 |
INFO
|
none | Amazon EMR 集群 |
SUSPENDED
|
ERROR
|
none | Amazon EMR 集群 |
RESIZING
|
WARNING
|
none | 由于以下原因,Amazon EMR 集群 |
EMR调整实例组大小 |
WARNING |
EC2配置-实例容量不足 | 由于 Amazon EC2 的可用区域 |
EMR调整实例组大小 |
WARNING |
EC2配置-子网中的可用地址不足 |
我们无法完成 Amazon EMR 集群InstanceGroupID 中实例组的大小调整操作,ClusterId (ClusterName) 因为指定的子网 [Subnet1,Subnet2] 不包含足够的免费私有 IP 地址来满足您的请求。使用 DescribeSubnets 操作查看您的子网中有多少 IP 地址可用(未使用)。有关如何响应此事件的信息,请参阅 Amazon 的错误代码EC2API。 |
EMR调整实例组大小 |
WARNING |
EC2配置-v 已超出CPU限制 |
Amazon EMR 集群InstanceGroupID ClusterName 中实例组的大小会延迟,因为您已达到分配给中正在运行的实例的 vCPUs (虚拟处理单元)数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码EC2API。 |
EMR调整实例组大小 |
WARNING |
EC2预配置-已超出 Spot 实例数量限制 |
Amazon EMR 集群InstanceGroupID 中实例组的配置ClusterID (ClusterName) 被延迟,因为您已达到可在中启动的竞价型实例数量的限制account (accountId) 。有关更多信息,请参阅 Amazon 的错误代码EC2API。 |
EMR调整实例组大小 |
WARNING |
EC2置备-已超出实例限制 |
Amazon EMR 集群InstanceGroupID ClusterID (ClusterName) 中实例组的配置会延迟,因为您已达到可在中运行的按需实例数量的限制account (accountId) 。有关 Amazon 错误代码的更多信息EC2API。 |
从 |
INFO
|
none |
|
注意
在 Amazon 5.21.0 及更高EMR版本中,您可以覆盖集群配置,并为正在运行的集群中的每个实例组指定其他配置分类。您可以使用 Amazon EMR 控制台、 Amazon Command Line Interface (Amazon CLI) 或 Amazon SDK。有关更多信息,请参阅为运行的集群中的实例组提供配置。
下表列出了重新配置操作的 Amazon EMR 事件,以及该事件表示的状态或状态更改、事件的严重性以及事件消息。
状态或状态变更 | 严重性 | 消息 |
---|---|---|
RUNNING
|
INFO
|
Amazon EMR 集群 |
从 |
INFO
|
Amazon EMR 集群 |
从 |
INFO
|
Amazon EMR 集群 |
RESIZING
|
INFO
|
|
RECONFIGURING
|
INFO
|
Amazon EMR 集群InstanceGroupID 中实例组Num 的实例数调整操作ClusterId (ClusterName) 被暂时阻止,Time 因为该实例组已在State 。 |
RECONFIGURING
|
WARNING
|
Amazon EMR 集群 |
RECONFIGURING
|
INFO
|
Amazon EMR 集群中实例组 |
从 |
INFO
|
Amazon EMR 集群 |
从 |
CRITICAL
|
无法将Amazon EMR 集群 |
自动伸缩策略事件
状态或状态变更 | 严重性 | 消息 |
---|---|---|
PENDING
|
INFO
|
Auto Scaling 策略已添加到 Amazon EMR 集群 –或者– Amazon EMR 集群 |
ATTACHED
|
INFO
|
Amazon EMR 集群 |
|
INFO
|
Amazon EMR 集群 |
FAILED
|
ERROR
|
Amazon EMR 集群 –或者– Amazon EMR 集群 |
步骤事件
状态或状态变更 | 严重性 | 消息 |
---|---|---|
PENDING
|
INFO
|
步骤 |
CANCEL_PENDING
|
WARN
|
Amazon EMR 集群 |
RUNNING
|
INFO
|
Amazon EMR 集群 |
COMPLETED
|
INFO
|
Amazon EMR 集群 |
CANCELLED
|
WARN
|
|
FAILED
|
ERROR
|
|
运行状况不佳的节点替换事件
事件类型 | 严重性 | 事件代码 | 消息 |
---|---|---|---|
Amazon EMR 不健康的节点替换 |
INFO |
检测到运行状况不佳的核心节点 |
亚马逊EMR已确定亚马逊EMR集群 |
Amazon EMR 不健康的节点替换 |
INFO |
核心节点运行状况不佳:替换已禁用 |
亚马逊EMR已确定亚马逊EMR集群 |
Amazon EMR 不健康的节点替换 |
WARN |
未替换运行状况不佳的核心节点 |
出于某种原因,亚马逊EMR无法 注意Amazon EMR 无法替换您的核心节点的原因因因您的情况而异。例如,Amazon EMR 无法删除节点的原因之一是因为集群没有任何剩余的核心节点。 |
Amazon EMR 不健康的节点替换 |
INFO |
运行状况不佳的核心节点已恢复 |
Amazon EMR 已在 Amazon EMR 集群 |
有关运行状况不佳的节点替换的更多信息,请参阅替换运行状况不佳的节点。
使用 Amazon EMR 控制台查看事件
对于每个集群,您可以在详细信息窗格中查看简单的事件列表,该列表按发生顺序降序列出事件。您还可以按照事件发生顺序的降序查看区域中所有集群的所有事件。
如果您不希望用户查看区域的所有集群事件,请向附加到用户的策略添加一条语句,该语句拒绝对 "Effect": "Deny"
操作的权限 (elasticmapreduce:ViewEventsFromAllClustersInConsole
)。
使用控制台查看区域中所有集群的事件
-
登录 Amazon Web Services Management Console,然后通过 https://console.aws.amazon.com/em
r 打开亚马逊EMR控制台。 -
EC2在左侧导航窗格的开下EMR,选择事件。
使用控制台查看特定集群的事件
-
登录 Amazon Web Services Management Console,然后通过 https://console.aws.amazon.com/em
r 打开亚马逊EMR控制台。 -
EC2在左侧导航窗格的 “开” 下EMR,选择 “集群”,然后选择一个集群。
-
要查看您的所有事件,请在集群详细信息页面上选择 Events(事件)选项卡。