Amazon EMR 集群节流错误 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR 集群节流错误

当 Amazon EMR 因为其他服务限制了活动Amazon EC2而无法完成请求时,Amazon EC2就会出现 “启动集群时被限制” 和 “由于限制而无法配置实例” 错误。Amazon EC2 是最常见的限制错误来源,但其他服务可能是导致限制错误的原因。Amazon 为了提高性能,服务限制以每个地区为基础,而限制错误表示您已超过该地区账户的服务限制。

可能的原因

Amazon EC2 限制错误的最常见来源是启动了大量集群实例,从而超出了您的 EC2 实例服务限制。集群实例可能会因以下原因启动:

向亚马逊发出的 API 请求的频率或类型也可能 EC2 导致限制错误。有关亚马逊如何 EC2 限制 API 请求的更多信息,请参阅亚马逊 API 参考中的查询 API 请求速率。 EC2

解决方案

考虑以下解决方案:

  • 按照《Amazon Web Services 一般参考》中的 Amazon Service Quotas 中的说明请求提高服务限额。对于某些人来说 APIs,设置 CloudWatch 活动可能比增加限额更好。有关更多详细信息,请参阅 何时在中设置 EMR 事件 CloudWatch

  • 如果您的集群以相同的时间表启动(例如,在整点开始时),请考虑错开启动时间。

  • 如果您有针对峰值需求而定义大小的集群,并且您定期拥有实例容量,请考虑指定自动扩展以按需添加和删除实例。通过这种方式,可以更高效地使用实例,并且根据需求配置文件,可以跨账户在给定时间请求更少的实例。有关更多信息,请参阅 将自动扩展与 Amazon EMR 中实例组的自定义策略结合使用