本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
将集群配置为在步骤执行后继续或终止
本主题解阐释了使用长时间运行的集群与创建在最后一步运行后关闭的临时集群之间的区别。它还介绍了如何为集群配置步骤执行。
创建长时间运行的集群
默认情况下,您使用控制台或控制台创建的集群 Amazon CLI 处于长时间运行状态。长时间运行的集群将继续运行、接受工作并累积费用,直到您采取措施关闭它们。
长时间运行的集群在以下情况十分有效:
-
当你需要交互式或自动查询数据时。
-
当您需要与集群上托管的大数据应用程序持续交互时。
-
当您定期处理大型数据集或需要频繁处理时,每次都无法有效启动新集群和加载数据。
您还可以在长时间运行的集群上设置终止保护,以避免意外或错误关闭 EC2 实例。有关更多信息,请参阅 使用终止保护。
注意
Amazon EMR 会为具有多个主节点的所有集群自动启用终止保护,并覆盖您在创建集群时应用的所有步骤执行设置。您可以在集群启动后禁用终止保护。请参阅 为正在运行的集群配置终止保护。要关闭具有多个主节点的集群,您必须先修改集群属性,才能禁用终止保护。有关说明,请参阅终止具有多个主节点的 Amazon EMR 集群。
将集群配置为在步骤执行后终止
在步骤执行后配置终止时,集群将启动、运行引导启动操作,然后运行您指定的步骤。最后一步完成后,Amazon EMR 将终止集群的 Amazon EC2 实例。默认情况下,使用 Amazon EMR API 启动的集群会启动步骤执行。
步骤执行后终止,对于定期执行处理任务(例如日常数据处理运行)的集群来说,极其有效。步骤执行还可帮助您确保您只需按处理数据所需的时间付费。有关步骤的更多信息,请参阅 向集群提交工作。
注意
我们重新设计了 Amazon EMR 控制台,以便其易于使用。请参阅 亚马逊 EMR 控制台,以了解有关新旧控制台体验差异的信息。