使用控制台向集群添加步骤 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

使用控制台向集群添加步骤

在Amazon Web Services Management Console中,按照以下操作步骤将步骤添加到集群。有关如何为特定大数据应用程序提交步骤的详细信息,请参阅 Amazon EMR 版本指南

在创建集群过程中添加步骤

使用 Amazon Web Services Management Console可以在创建集群时向集群添加步骤。

  1. Amazon EMR 控制台 中,选择 Create Cluster - Advanced Options (创建集群 – 高级选项)

  2. Step 1: Software and Steps (步骤 1:软件和步骤) 页面上,对于 Steps (optional) (步骤(可选)),选择 Run multiple steps in parallel to improve cluster utilization and save cost (并行运行多个步骤以提高集群利用率并节省成本)。并发级别的默认值为 10。您可以在 2 到 256 个步骤之间进行选择,这些步骤可以并行运行。

    注意

    只有 Amazon EMR 版本 5.28.0 和更高版本支持并行运行多个步骤。

  3. 对于 After last step completes (在最后一步完成后),选择 Cluster enters waiting state (集群进入等待状态)Auto-terminate the cluster (自动终止集群)

  4. 选择 Step type (步骤类型),然后选择 Add step (添加步骤)

  5. Add Step (添加步骤) 对话框的各个字段中键入合适的值。选项因步骤类型而异。如果您已启用 Run multiple steps in parallel to improve cluster utilization and save cost (并行运行多个步骤以提高集群利用率并节省成本),则 Action on failure (出现故障时的操作) 的唯一可用选项是 Continue (继续)。接下来,选择 Add (添加)

向正在运行的集群添加步骤

使用Amazon Web Services Management Console,可以向长时间运行的集群(即已禁用自动终止选项的集群)添加步骤。

  1. Amazon EMR 控制台中的 Cluster List (集群列表) 页面上,选择您的集群的链接。

  2. Cluster Details (集群详细信息) 页面上,选择 Steps (步骤) 选项卡。

  3. Steps (步骤) 选项卡上,选择 Add step (添加步骤)

  4. Add Step (添加步骤) 对话框的各个字段中键入相应的值,然后选择 Add (添加)。这些选项因步骤类型而异。

修改正在运行的集群中的步骤并发级别

使用 Amazon Web Services Management Console,可以修改正在运行的集群中的步骤并发级别。

注意

只有 Amazon EMR 版本 5.28.0 和更高版本支持并行运行多个步骤。

  1. Amazon EMR 控制台中的 Cluster List (集群列表) 页面上,选择您的集群的链接。

  2. Cluster Details (集群详细信息) 页面上,选择 Steps (步骤) 选项卡。

  3. 对于 Concurrency (并发),请选择 Change (更改)。为步骤并发级别选择一个新值,然后保存。

添加步骤参数

在使用 Amazon Web Services Management Console添加添加步骤到您的集群时,您可以在 Arguments (参数)字段指定该步骤的参数。您必须使用空格、字符组成的两边字符串参数以及带引号的空格分隔参数。

例 :参数正确

以下示例参数的格式正确,适用于Amazon Web Services Management Console,最后一个字符串参数两边用引号。

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

您还可以为了实现可读性,将每个参数放在单独的行中,如下面的示例所示。

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

例 :参数不正确

以下示例参数的格式不正确,不适用于 Amazon Web Services Management Console。请注意,最后一个字符串参数 aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh . 含有空格,没有引号。

bash -c aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .