使用 Amazon EMR 管理控制台向集群添加步骤 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用 Amazon EMR 管理控制台向集群添加步骤

在 Amazon Web Services Management Console 中,请按照以下操作步骤将步骤添加到集群中。有关如何为特定大数据应用程序提交步骤的详细信息,请参阅 Amazon EMR Release Guide

在创建集群过程中添加步骤

在 Amazon Web Services Management Console 中,您可以在创建集群时添加步骤。

注意

我们重新设计了 Amazon EMR 控制台,以便其易于使用。请参阅 控制台中的新增功能,以了解有关新旧控制台体验差异的信息。

New console
在使用新控制台创建集群时添加步骤
  1. 登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台,网址为 https://console.aws.amazon.com/emr

  2. 在左侧导航窗格中的 EMR on EC2 下,选择 Clusters(集群),然后选择 Create cluster(创建集群)。

  3. Steps(步骤)下,选择 Add step(添加步骤)。在 Add Step(添加步骤)对话框的字段中输入相应值。有关格式化步骤参数的信息,请参阅 添加步骤参数。选项因步骤类型而异。要添加步骤并退出对话框,请选择添加步骤

  4. 选择适用于集群的任何其他选项。

  5. 要启动集群,选择 Create cluster(创建集群)。

Old console
在使用旧控制台创建集群时添加步骤
  1. 通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/home。选择 Create cluster - Advanced Options(创建集群 - 高级选项)。

  2. Step 1: Software and Steps (步骤 1:软件和步骤) 页面上,对于 Steps (optional) (步骤(可选)),选择 Run multiple steps in parallel to improve cluster utilization and save cost (并行运行多个步骤以提高集群利用率并节省成本)。并发级别的默认值为 10。您可以在 2 到 256 个步骤之间进行选择,这些步骤可以并行运行。

    注意

    只有 Amazon EMR 版本 5.28.0 和更高版本支持并行运行多个步骤。

  3. 对于 After last step completes (在最后一步完成后),选择 Cluster enters waiting state (集群进入等待状态)Auto-terminate the cluster (自动终止集群)

  4. 选择 Step type (步骤类型),然后选择 Add step (添加步骤)

  5. Add Step (添加步骤) 对话框的各个字段中键入合适的值。有关格式化步骤参数的信息,请参阅 添加步骤参数。选项因步骤类型而异。如果您已启用并行运行多个步骤以提高集群利用率并节省成本,则出现故障时的操作的唯一选项是继续。接下来,选择 Add (添加)

向正在运行的集群添加步骤

您可以使用 Amazon Web Services Management Console 向已禁用自动终止选项的集群添加步骤。

New console
使用新控制台向正在运行的集群添加步骤
  1. 登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台,网址为 https://console.aws.amazon.com/emr

  2. 在左侧导航窗格中的 EMR on EC2 下,选择 Clusters(集群),然后选择要更新的集群。

  3. 在集群详细信息页面的 Steps(步骤)选项卡上,选择 Add step(添加步骤)。要克隆现有步骤,请选择 Actions(操作)下拉菜单,然后选择 Clone step(克隆步骤)。

  4. Add Step(添加步骤)对话框的字段中输入相应值。选项因步骤类型而异。要添加步骤并退出对话框,请选择 Add step(添加步骤)。

Old console
使用旧控制台向正在运行的集群添加步骤
  1. 通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/home。在 Cluster List (集群列表) 页面上,选择您的集群的链接。

  2. Cluster Details (集群详细信息) 页面上,选择 Steps (步骤) 选项卡。

  3. Steps (步骤) 选项卡上,选择 Add step (添加步骤)

  4. Add Step (添加步骤) 对话框的各个字段中键入相应的值,然后选择 Add (添加)。这些选项因步骤类型而异。

修改正在运行的集群中的步骤并发级别

使用 Amazon Web Services Management Console,可以修改正在运行的集群中的步骤并发级别。

注意

您只能使用 Amazon EMR 版本 5.28.0 和更高版本并行运行多个步骤。

New console
使用新控制台,修改正在运行的集群中的步骤并发级别
  1. 登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台,网址为 https://console.aws.amazon.com/emr

  2. 在左侧导航窗格中的 EMR on EC2 下,选择 Clusters(集群),然后选择要更新的集群。集群必须处于运行状态才能更改其并发属性。

  3. 在集群详细信息页面的 Steps(步骤)选项卡上,找到 Attributes(属性)部分。选择 Edit(编辑)以更改并发级别。请输入 1 到 256 之间的值。

Old console
使用旧控制台,修改正在运行的集群中的步骤并发级别
  1. 通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/home。在 Cluster List (集群列表) 页面上,选择您的集群的链接。

  2. Cluster Details (集群详细信息) 页面上,选择 Steps (步骤) 选项卡。

  3. 对于 Concurrency (并发),请选择 Change (更改)。为步骤并发级别选择一个新值,然后保存。

添加步骤参数

在使用 Amazon Web Services Management Console 添加步骤到您的集群时,您可以在参数字段指定该步骤的参数。您必须使用空格、字符组成的两边字符串参数以及带引号的空格分隔参数。

例 :参数正确

以下示例参数的格式正确,适用于Amazon Web Services Management Console,最后一个字符串参数两边用引号。

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

您还可以为了实现可读性,将每个参数放在单独的行中,如下面的示例所示。

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."
例 :参数不正确

以下示例参数的格式不正确,不适用于 Amazon Web Services Management Console。请注意,最后一个字符串参数 aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh . 含有空格,没有引号。

bash -c aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .