Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

将集群配置为自动终止或继续

默认情况下,使用控制台或 AWS CLI 创建的集群在您将其关闭之前将继续运行。若要在运行步骤后终止集群,您需要启用自动终止。相反,使用 EMR API 启动的集群将默认启用自动终止。

使用 EMR API 禁用自动终止

使用 AWS 管理控制台中的“Quick Options (快速选项)”启用自动终止

  1. 通过以下网址打开 Amazon EMR 控制台:https://console.amazonaws.cn/elasticmapreduce/

  2. 选择 Create cluster

  3. 选择 Step execution (步骤执行)

  4. 选择适用于您的应用程序的其他设置,然后选择 Create Cluster (创建集群)

使用 AWS 管理控制台中的“Advanced Options (高级选项)”启用自动终止

  1. 通过以下网址打开 Amazon EMR 控制台:https://console.amazonaws.cn/elasticmapreduce/

  2. 选择 Create cluster

  3. 选择 Go to advanced options (转到高级选项)

  4. Add steps (optional) (添加步骤(可选)) 下,选择 Auto-terminate cluster after the last step is completed (完成最后的步骤后,自动终止集群)

  5. 选择适用于您的应用程序的其他设置,然后选择 Create Cluster (创建集群)

使用 AWS CLI 启用自动终止

  • 使用 --auto-terminate 命令时指定 create-cluster 参数以创建暂时性集群。

    以下示例演示如何使用 --auto-terminate 参数。您可以键入以下命令,将 myKey 替换为您的 EC2 密钥对的名称。

    注意

    包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

    aws emr create-cluster --name "Test cluster" --release-label emr-5.20.0 \ --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \ --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\ Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\ INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\ $INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/] --instance-type m4.large --instance-count 3 --auto-terminate

有关如何在 AWS CLI 中使用 Amazon EMR 命令的更多信息,请参阅 AWS CLI 参考