使用实例队列或统一实例组创建集群 - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用实例队列或统一实例组创建集群

在创建集群并指定主节点、核心节点和任务节点的配置时,您有两个配置选项。您可以使用实例队列统一实例组. 您选择的配置选项适用于所有节点,将在集群的生命周期内应用,并且实例队列和实例组无法在集群中共存。实例队列配置在 Amazon EMR 版本 4.8.0 和更高版本中可用 (不包括 5.0.x 版)。

您可以使用 EMR 控制台、AWS CLI 或 EMR API 创建带任一配置的集群。从 create-cluster 使用 AWS CLI 命令时,可使用 --instance-fleets 参数通过实例队列创建集群,也可使用 --instance-groups 参数通过统一实例组创建集群。

使用 EMR API 时的情况也是如此。您使用 InstanceGroups 配置指定一组 InstanceGroupConfig 对象,或使用 InstanceFleets 配置指定一组 InstanceFleetConfig 对象。

在 EMR 控制台中,如果在创建集群时使用默认 Quick Options (快速选项) 设置,则 会将统一实例组配置Amazon EMR应用于集群并使用按需实例。要将 Spot 实例与统一实例组结合使用,或要配置实例队列或其他自定义设置,请选择 Advanced Options (高级选项).

提示

为了快速轻松地复制已创建的集群,Amazon EMR 在控制台中为您提供了两个选项。您可以克隆集群或生成 create cluster CLI 命令。首先,选择 Cluster list (集群列表),然后选择要复制的集群。选择 AWS CLI export (AWS CLI 导出) 可让 为集群Amazon EMR生成等效的 create cluster CLI 命令,然后您可以复制并粘贴该命令。选择 Clone (克隆) 按钮让 Amazon EMR 复制您的控制台设置。 会向您Amazon EMR显示 Advanced Options (高级选项) 的最后一步以确认集群的配置。您可以选择 Create cluster (创建集群) 以创建新集群(使用相同名称和不同的集群 ID),也可以选择 Previous (上一步) 以返回并更改设置。

实例队列

实例队列配置提供了各种面向 EC2 实例的预配置选项。每个节点类型均有一个实例队列,任务实例队列是可选的。对于每个实例队列,您指定最多 5 个实例类型(如果使用分配策略,则任务实例队列上最多 15 个实例类型),这些类型可以预配置为按需实例和 Spot 实例。对于核心和任务实例队列,您为按需实例分配目标容量,为 Spot 实例分配目标容量。 Amazon EMR 选择指定实例类型的任何组合来满足目标容量,同时预配置按需实例和 Spot 实例。

对于主节点类型, 从实例列表中选择Amazon EMR一种实例类型,并指定它是预配置为按需实例还是 Spot 实例。实例队列还提供了适用于 Spot 实例和按需购买的其他选项。Spot 实例选项包括定义的持续时间(也称为 Spot 块)、指定在无法预置 Spot 容量时要执行的操作的超时以及用于启动 Spot 实例队列的首选分配策略(容量优化)。也可以使用 分配策略(最低价格)启动按需实例队列。有关更多信息,请参阅配置实例队列. 如果您使用的服务角色不是服务角色中的 EMR 默认服务角色或 EMR 托管策略,则需要向自定义集群服务角色添加其他权限以启用分配策略。有关更多信息,请参阅Service Role for Amazon EMR (EMR Role).

统一实例组

统一实例组提供了简化的设置。每个 Amazon EMR 集群可包含最多 50 个实例组:一个主实例组 (包含一个 EC2 实例)、一个核心实例组 (包含一个或多个 EC2 实例) 和最多 48 个可选任务实例组。每个核心和任务实例组可以包含任意数量的 EC2 实例。您可以通过手动添加和删除 EC2 实例来扩展每个实例组,也可以设置自动扩展。有关配置统一实例组的更多信息,请参阅配置统一实例组. 有关添加和删除实例的信息,请参阅扩展集群资源.