Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅
中国的 Amazon Web Services 服务入门
(PDF)。
将集群配置为在步骤执行后继续或终止
本主题解阐释了使用长时间运行的集群与创建在最后一步运行后关闭的临时集群之间的区别。它还介绍了如何为集群配置步骤执行。
创建长时间运行的集群
默认情况下,使用控制台或 Amazon CLI 创建的集群是长时间运行的集群。长时间运行的集群将继续运行、接受工作并累积费用,直到您采取措施关闭它们。
长时间运行的集群在以下情况十分有效:
您还可以在长时间运行的集群上设置终止保护,以避免意外或错误关闭 EC2 实例。有关更多信息,请参阅使用终止保护。
将集群配置为在步骤执行后终止
在步骤执行后配置终止时,集群将启动、运行引导启动操作,然后运行您指定的步骤。最后一步完成后,Amazon EMR 将终止集群的 Amazon EC2 实例。默认情况下,使用 Amazon EMR API 启动的集群会启动步骤执行。
步骤执行后终止,对于定期执行处理任务(例如日常数据处理运行)的集群来说,极其有效。步骤执行还可帮助您确保您只需按处理数据所需的时间付费。有关步骤的更多信息,请参阅 向集群提交工作。
我们重新设计了 Amazon EMR 控制台,以便其易于使用。请参阅 控制台中的新增功能,以了解有关新旧控制台体验差异的信息。
- New console
-
使用新控制台启动步骤执行
-
登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台,网址为 https://console.aws.amazon.com/emr/。
-
在左侧导航窗格中的 EMR on EC2 下,选择 Clusters(集群),然后选择 Create cluster(创建集群)。
-
在 Steps(步骤)下,选择 Add step(添加步骤)。在 Add Step(添加步骤)对话框中,输入相应的字段值。选项因步骤类型而异。要添加步骤并退出对话框,请选择 Add step(添加步骤)。
-
在 Cluster termination(集群终止)下,选中 Terminate cluster after last step completes(最后一步完成后终止集群)复选框。
-
选择适用于集群的任何其他选项。
-
要启动集群,选择 Create cluster(创建集群)。
- Old console
-
- Amazon CLI
-
使用 Amazon CLI 启动步骤执行
-
使用 --auto-terminate
命令时指定 create-cluster
参数以创建暂时性集群。
以下示例说明了如何使用 --auto-terminate
参数。您可以键入以下命令,将 myKey
替换为您的 EC2 密钥对的名称。
为了便于读取,包含 Linux 行继续符(\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号 (^)。
aws emr create-cluster --name "Test cluster
" --release-label emr-5.36.0
\
--applications Name=Hive
Name=Pig
--use-default-roles --ec2-attributes KeyName=myKey
\
--steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\
INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\
$INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
--instance-type m5.xlarge
--instance-count 3
--auto-terminate
- API
-