使用实例集或统一实例组创建集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用实例集或统一实例组创建集群

当您创建集群并指定主节点、核心节点和任务节点的配置时,有两个配置选项。您可以使用实例队列统一实例组。您选择的配置选项适用于所有节点,将在集群的生命周期内应用,并且实例队列和实例组无法在集群中共存。实例集配置在 Amazon EMR 版本 4.8.0 和更高版本中可用(不包括 5.0.x 版)。

您可以使用 Amazon EMR 控制台、Amazon CLI 或 Amazon EMR API 创建带任一配置的集群。从 Amazon CLI 使用 create-cluster 命令时,可使用 --instance-fleets 参数通过实例队列创建集群,也可使用 --instance-groups 参数通过统一实例组创建集群。

使用 Amazon EMR API 时的情况也是如此。您使用 InstanceGroups 配置指定一组 InstanceGroupConfig 对象,或使用 InstanceFleets 配置指定一组 InstanceFleetConfig 对象。

在 Amazon EMR 新控制台中,您可以在创建集群时选择使用实例组或实例集,并且可以选择对每个实例组或实例集使用竞价型实例。在 Amazon EMR 旧控制台中,如果您在创建集群时使用默认 Quick Options(快速选项)设置,Amazon EMR 会将统一实例组配置应用于集群并使用按需型实例。要将竞价型实例与统一实例组结合使用,或要配置实例队列或其它自定义设置,请选择 Advanced Options (高级选项)

实例机群

实例集配置提供了各种面向 Amazon EC2 实例的预置选项。每个节点类型均有一个实例集,使用任务实例集是可选的。您在使用 Amazon CLI、Amazon EMR API、按需型实例和竞价型实例的分配策略创建实例时,可以为每个实例集指定最多五个 EC2 实例类型,或为每个实例集指定最多 30 个 EC2 实例类型。对于核心实例和任务实例集,您可以为按需型实例指定一个目标容量,再为竞价型实例指定一个目标容量。。Amazon EMR 选择指定实例类型的任意组合来满足目标容量,预置按需实例和竞价型实例。

对于主节点类型,Amazon EMR 会从实例列表中选择一个实例类型,然后您指定将其预配置为按需型实例还是竞价型实例。实例集还为竞价型实例和按需型购买提供了其它选项。Spot 实例选项包括指定在无法预置 Spot 容量时要执行的操作的超时以及启动 Spot 实例机群的首选分配策略(容量优化)。此外,还可以使用分配策略(最低价格)选项来启动按需型实例机群。如果您使用的服务角色不是 EMR 默认服务角色,或者在服务角色中使用了 EMR 托管式策略,则需要向自定义集群服务角色添加其它权限,以启用分配策略选项。有关更多信息,请参阅Amazon EMR 的服务角色(EMR 角色)

有关配置实例集的更多信息,请参阅 配置实例集

统一实例组

统一实例组可提供比实例集简单的设置。每个 Amazon EMR 集群可包含最多 50 个实例组:一个主实例组(包含一个 Amazon EC2 实例)、一个核心实例组(包含一个或多个 EC2 实例)和最多 48 个可选任务实例组。每个核心和任务实例组可以包含任意数量的 Amazon EC2 实例。您可以通过手动添加和删除 Amazon EC2 实例来扩展每个实例组,也可以设置自动扩展。有关添加和删除实例的信息,请参阅使用集群扩展

有关配置统一实例组的更多信息,请参阅配置统一实例组

使用实例集和实例组