Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

使用实例队列或统一实例组创建集群

在创建集群并指定主节点、核心节点和任务节点的配置时,您有两个配置选项。您可以使用实例队列统一实例组。您选择的配置选项适用于所有节点,将在集群的生命周期内应用,并且实例队列和实例组无法在集群中共存。实例队列配置在 Amazon EMR 版本 4.8.0 和更高版本中可用 (不包括 5.0.x 版)。

您可以使用 EMR 控制台、AWS CLI 或 EMR API 创建带任一配置的集群。从 AWS CLI 使用 create-cluster 命令时,可使用 --instance-fleets 参数通过实例队列创建集群,也可使用 --instance-groups 参数通过统一实例组创建集群。

使用 EMR API 时的情况也是如此。您使用 InstanceGroups 配置指定一组 InstanceGroupConfig 对象,或使用 InstanceFleets 配置指定一组 InstanceFleetConfig 对象。

在 EMR 控制台中,如果您在创建集群时使用默认 Quick Options (快速选项) 设置,Amazon EMR 会将统一实例组配置应用于集群并使用按需实例。要将 Spot 实例与统一实例组结合使用,或要配置实例队列或其他自定义设置,请选择 Advanced Options (高级选项)

提示

为了快速轻松地复制已创建的集群,Amazon EMR 在控制台中为您提供了两个选项。您可以克隆集群或生成 create cluster CLI 命令。首先,选择 Cluster list (集群列表),然后选择要复制的集群。选择 AWS CLI export (AWS CLI 导出) 以让 Amazon EMR 生成集群的等效 create cluster CLI 命令,随后可复制并粘贴此命令。选择 Clone (克隆) 按钮以让 Amazon EMR 复制控制台设置。Amazon EMR 会向您显示 Advanced Options (高级选项) 的上一步以确认集群的配置。您可以选择 Create cluster (创建集群) 以创建新集群 (带相同名称和不同的集群 ID),也可以选择 Previous (上一步) 以返回并更改设置。

实例队列

实例队列配置提供了各种面向 EC2 实例的预配置选项。每个节点类型均有一个实例队列,任务实例队列是可选的。对于每个实例队列,可指定最多 5 个实例类型,这些类型可预配置为按需实例和 Spot 实例。对于核心和任务实例队列,您为按需实例分配一个目标容量并为 Spot 实例分配另一个目标容量。Amazon EMR 选择五个实例类型的任意组合来满足目标容量,并预置按需实例和 Spot 实例。对于主节点类型,Amazon EMR 从 5 个实例类型中选择一个实例类型,您指定是将该实例类型预配置为按需实例还是 Spot 实例。实例队列还提供了 Spot 实例购买的其他选项,包括定义的持续时间 (也称作 Spot 限制) 和超时 (指定在无法预配置 Spot 容量时要执行的操作)。有关更多信息,请参阅 配置实例队列

统一实例组

统一实例组提供了简化的设置。每个 Amazon EMR 集群可包含最多 50 个实例组:一个主实例组 (包含一个 EC2 实例)、一个核心实例组 (包含一个或多个 EC2 实例) 和最多 48 个可选任务实例组。每个核心和任务实例组可以包含任意数量的 EC2 实例。您可以通过手动添加和删除 EC2 实例来扩展每个实例组,也可以设置自动扩展。有关配置统一实例组的更多信息,请参阅配置统一实例组。有关添加和删除实例的信息,请参阅扩展集群资源

本页内容: