使用实例机群或统一实例组创建集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

使用实例机群或统一实例组创建集群

在创建集群并指定主节点、核心节点和任务节点的配置时,您有两个配置选项。您可以使用实例队列统一实例组。您选择的配置选项适用于所有节点,将在集群的生命周期内应用,并且实例队列和实例组无法在集群中共存。实例机群配置在 Amazon EMR 版本 4.8.0 和更高版本中可用(不包括 5.0.x 版)。

您可以使用 Amazon EMR 控制台、Amazon CLI 或 Amazon EMR API 创建带任一配置的集群。从 create-cluster 使用 Amazon CLI 命令时,可使用 --instance-fleets 参数通过实例队列创建集群,也可使用 --instance-groups 参数通过统一实例组创建集群。

使用 Amazon EMR API 时的情况也是如此。您使用 InstanceGroups 配置指定一组 InstanceGroupConfig 对象,或使用 InstanceFleets 配置指定一组 InstanceFleetConfig 对象。

在 Amazon EMR 控制台中,如果您在创建集群时使用默认 Quick Options (快速选项) 设置,Amazon EMR 会将统一实例组配置应用于集群并使用按需型实例。要将 Spot 实例与统一实例组结合使用,或要配置实例队列或其他自定义设置,请选择 Advanced Options (高级选项)

提示

为了快速轻松地复制已创建的集群,Amazon EMR 在控制台中为您提供了两个选项。您可以克隆集群或生成 create cluster CLI 命令。首先,选择 Cluster list (集群列表),然后选择要复制的集群。选择 Amazon CLI export (Amazon CLI 导出) 以让 Amazon EMR 生成集群的等效 create cluster CLI 命令,随后可复制并粘贴此命令。选择 Clone (克隆) 按钮,让 Amazon EMR 复制您的控制台设置。Amazon EMR 为您提供 Advanced Options (高级选项) 的最后一步以确认集群的配置。您可以选择 Create cluster (创建集群) 以创建新集群 (带相同名称和不同的集群 ID),也可以选择 Previous (上一步) 以返回并更改设置。

实例机群

实例机群配置提供了各种面向 Amazon EC2 实例的预置选项。每个节点类型均有一个实例机群,使用任务实例机群是可选的。您在使用 Amazon CLI 或 Amazon EMR API 以及按需实例和 Spot 实例的分配策略创建实例时,可以为每个队列指定最多 5 个 EC2 实例类型,或为每个队列指定最多 30 个 EC2 实例类型。对于核心实例和任务实例机群,您可以为按需型实例指定一个目标容量,再为 Spot 实例指定一个目标容量。Amazon EMR 选择指定实例类型的任意组合来满足目标容量,预置按需实例和 Spot 实例。

对于主节点类型,Amazon EMR 从 5 个实例类型中选择一个实例类型,您指定是将该实例类型预置为按需实例还是 Spot 实例。实例机群还为 Spot 实例和按需购买提供了其他选项。Spot 实例选项包括指定在无法预置 Spot 容量时要执行的操作的超时以及启动 Spot 实例机群的首选分配策略(容量优化)。此外,还可以使用分配策略(最低价格)选项来启动按需型实例机群。如果您使用的服务角色不是 EMR 默认服务角色,或者在服务角色中使用了 EMR 托管策略,则需要向自定义集群服务角色添加其他权限,以启用分配策略选项。有关更多信息,请参阅Amazon EMR 的服务角色(EMR 角色)

有关配置实例机群的更多信息,请参阅 配置实例机群

统一实例组

统一实例组可提供比实例机群简单的设置。每个 Amazon EMR 集群可包含最多 50 个实例组:一个主实例组(包含一个 Amazon EC2 实例)、一个核心实例组(包含一个或多个 EC2 实例)和最多 48 个可选任务实例组。每个核心和任务实例组可以包含任意数量的 Amazon EC2 实例。您可以通过手动添加和删除 Amazon EC2 实例来扩展每个实例组,也可以设置自动扩展。有关添加和删除实例的信息,请参阅扩展集群资源

有关配置统一实例组的更多信息,请参阅配置统一实例组