手动调整正在运行的集群的大小

通过使用 Amazon CLI 更改实例数来调整集群大小

可以使用带 InstanceCount 参数的 Amazon CLI modify-instance-groups 子命令向核心组或任务组添加实例，并且可以从任务组删除实例。要向核心或任务组添加实例，请增加 InstanceCount。要减少任务组中的实例数，请减少 InstanceCount。将任务组的实例计数更改为 0 会删除所有实例，而不删除实例组。

• 要将任务实例组中的实例数从 3 增加到 4，请键入以下命令，将 ig-31JXXXXXXBTO 替换为实例组 ID。

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-31JXXXXXXBTO,InstanceCount=4

  要检索 InstanceGroupId，请使用 describe-cluster 子命令。输出是一个名为 Cluster 的 JSON 对象，其中包含每个实例组的 ID。要使用此命令，您需要集群 ID（可以使用 aws emr list-clusters 命令或控制台进行检索）。要检索实例组 ID，请键入以下命令，将 j-2AXXXXXXGAPLF 替换为集群 ID。

  aws emr describe-cluster --cluster-id j-2AXXXXXXGAPLF

  借助 Amazon CLI，您还可以通过 --modify-instance-groups 子命令终止核心实例组中的实例。

  警告

  指定 EC2InstanceIdsToTerminate 时，请务必谨慎。无论实例上运行的应用程序的状态如何，实例都将立即终止，并且不会自动替换实例。无论集群的 Scale down behavior (缩减行为) 配置如何，都会出现此情况。通过这种方式终止实例将面临数据丢失以及出现不可预测的集群行为的风险。

  要终止特定实例，您需要使用实例组 ID（由 aws emr describe-cluster --cluster-id 子命令返回）和实例 ID（由 aws emr list-instances --cluster-id 子命令返回），键入以下命令，将 ig-6RXXXXXX07SA 替换为实例组 ID，并将 i-f9XXXXf2 替换为实例 ID。

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-6RXXXXXX07SA,EC2InstanceIdsToTerminate=i-f9XXXXf2

  有关在 Amazon CLI 中使用 Amazon EMR 命令的更多信息，请参阅https://docs.amazonaws.cn/cli/latest/reference/emr。

通过使用 Amazon CLI 添加任务实例组来调整集群大小

借助 Amazon CLI，您可以通过 --add-instance-groups 子命令向集群添加 1-48 个任务实例组。任务实例组只能添加到包含主实例组和核心实例组的集群。借助 Amazon CLI，每次使用 --add-instance-groups 子命令时您可以添加多达五个任务实例组。

1. 要向集群添加单个任务实例组，请键入以下命令，将 j-JXBXXXXXX37R 替换为集群 ID。

   aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge

2. 要向集群添加多个任务实例组，请键入以下命令，将 j-JXBXXXXXX37R 替换为集群 ID。可以在单个命令中添加多达 5 个任务实例组。

   aws emr add-instance-groups --cluster-id j-JXBXXXXXX37R --instance-groups InstanceCount=6,InstanceGroupType=task,InstanceType=m5.xlarge InstanceCount=10,InstanceGroupType=task,InstanceType=m5.xlarge

   有关在 Amazon CLI 中使用 Amazon EMR 命令的更多信息，请参阅https://docs.amazonaws.cn/cli/latest/reference/emr。

使用 Amazon CLI 中断大小调整操作

您可以在 Amazon CLI 中使用 modify-instance-groups 子命令来停止大小调整操作。假定您的实例组包含 6 个实例，您需要将实例增加到 10 个。但随后您决定撤消此请求：

• 初始请求：

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=10

  第二个请求 (停止第一个请求) ：

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-myInstanceGroupId,InstanceCount=6

使用 Amazon CLI 重置处于 SUSPENDED（暂停）状态的集群

键入带有 describe-cluster 参数的 --cluster-id 子命令可查看集群中实例的状态。

• 要查看有关集群中所有实例和实例组的信息，请键入以下命令，将 j-3KVXXXXXXY7UG 替换为集群 ID。

  aws emr describe-cluster --cluster-id j-3KVXXXXXXY7UG

  输出会显示有关实例组和实例状态的信息：

  {
      "Cluster": {
          "Status": {
              "Timeline": {
                  "ReadyDateTime": 1413187781.245,
                  "CreationDateTime": 1413187405.356
              },
              "State": "WAITING",
              "StateChangeReason": {
                  "Message": "Waiting after step completed"
              }
          },
          "Ec2InstanceAttributes": {
              "Ec2AvailabilityZone": "us-west-2b"
          },
          "Name": "Development Cluster",
          "Tags": [],
          "TerminationProtected": false,
          "RunningAmiVersion": "3.2.1",
          "NormalizedInstanceHours": 16,
          "InstanceGroups": [
              {
                  "RequestedInstanceCount": 1,
                  "Status": {
                      "Timeline": {
                          "ReadyDateTime": 1413187775.749,
                          "CreationDateTime": 1413187405.357
                      },
                      "State": "RUNNING",
                      "StateChangeReason": {
                          "Message": ""
                      }
                  },
                  "Name": "MASTER",
                  "InstanceGroupType": "MASTER",
                  "InstanceType": "m5.xlarge",
                  "Id": "ig-3ETXXXXXXFYV8",
                  "Market": "ON_DEMAND",
                  "RunningInstanceCount": 1
              },
              {
                  "RequestedInstanceCount": 1,
                  "Status": {
                      "Timeline": {
                          "ReadyDateTime": 1413187781.301,
                          "CreationDateTime": 1413187405.357
                      },
                      "State": "RUNNING",
                      "StateChangeReason": {
                          "Message": ""
                      }
                  },
                  "Name": "CORE",
                  "InstanceGroupType": "CORE",
                  "InstanceType": "m5.xlarge",
                  "Id": "ig-3SUXXXXXXQ9ZM",
                  "Market": "ON_DEMAND",
                  "RunningInstanceCount": 1
              }
  ...
  }

  要查看有关特定实例组的信息，请键入带有 list-instances 和 --cluster-id 参数的 --instance-group-types 子命令。您可以查看主实例组、核心实例组和任务实例组的信息。

  aws emr list-instances --cluster-id j-3KVXXXXXXY7UG --instance-group-types "CORE"

  使用带有 modify-instance-groups 参数的 --instance-groups 子命令可重置 SUSPENDED 状态下的集群。实例组 ID 通过 describe-cluster 子命令返回。

  aws emr modify-instance-groups --instance-groups InstanceGroupId=ig-3SUXXXXXXQ9ZM,InstanceCount=3