提交自定义 JAR 步骤

使用控制台提交自定义 JAR 步骤

1. 通过以下链接打开 Amazon EMR 控制台：https://console.aws.amazon.com/emr。

2. 在 Cluster List (集群列表) 中，选择您的集群的名称。

3. 滚动到 Steps (步骤) 部分并展开它，然后选择 Add step (添加步骤)。

4. 在 Add step (添加步骤) 对话框中：

   • 对于步骤类型，选择自定义 JAR。

   • 对于 Name (名称)，接受默认名称（自定义 JAR）或键入新名称。

   • 对于 JAR S3 location (JAR S3 位置)，键入或浏览到 JAR 文件的位置。JAR 位置可能是 S3 的路径或类路径中的完全限定的 java 类。

   • 对于参数，以空格分隔的字符串形式键入任何所需参数，或将该字段保留为空白。

   • 对于 Action on failure (出现故障时的操作)，接受默认选项 Continue (继续)。

5. 选择 Add（添加）。步骤会出现在控制台中，其状态为“Pending”。

6. 步骤的状态会随着步骤的运行从“Pending”变为“Running”，再变为“Completed”。要更新状态，请选择 Actions (操作) 列上方的 Refresh (刷新) 图标。

使用 Amazon CLI 启动集群并提交自定义 JAR 步骤

要使用 Amazon CLI 启动集群并提交自定义 JAR 步骤，请键入带 --steps 参数的 create-cluster 子命令。

• 要启动集群并提交自定义 JAR 步骤，请键入以下命令，并将 myKey 替换为您的 EC2 密钥对的名称，将 mybucket 替换为您的存储桶名称。

  aws emr create-cluster --name "Test cluster" --release-label emr-5.36.1 \
  --applications Name=Hue Name=Hive Name=Pig --use-default-roles \
  --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=CUSTOM_JAR,Name="Custom JAR Step",ActionOnFailure=CONTINUE,Jar=pathtojarfile,Args=["pathtoinputdata","pathtooutputbucket","arg1","arg2"]

  注意

  为了便于读取，包含 Linux 行继续符（\）。它们可以通过 Linux 命令删除或使用。对于 Windows，请将它们删除或替换为脱字号 (^)。

  如果不使用 --instance-groups 参数指定实例计数，则将启动单个主节点，其余实例将作为核心节点启动。所有节点都使用您在命令中指定的实例类型。

  注意

  如果您之前未创建默认 Amazon EMR 服务角色和 EC2 实例配置文件，请先键入 aws emr create-default-roles 创建它们，然后再键入 create-cluster 子命令。

  有关在 Amazon CLI 中使用 Amazon EMR 命令的更多信息，请参阅https://docs.amazonaws.cn/cli/latest/reference/emr。