将工作提交到 Amazon EMR 集群
此部分描述您可用于向 Amazon EMR 集群提交工作的方法。您可以通过添加步骤或以交互方式向主节点提交 Hadoop 任务的形式向集群提交工作。
向集群提交步骤时,请考虑以下步骤行为规则:
-
步骤 ID 最多可包含 256 个字符。
-
一个集群中最多可以有 256 个待处理和正在运行的步骤。
-
即使集群上运行有 256 个活动步骤,您可以采用交互方式向主节点提交任务。您可以在长时间运行的集群的生命周期内提交不限数量的步骤,但是,在给定时间只能有 256 个步骤处于 RUNNING 或 PENDING 状态。
-
对于 Amazon EMR 版本 4.8.0 和更高版本(版本 5.0.0 除外),您可以取消待处理步骤。有关更多信息,请参阅 将工作提交到 Amazon EMR 集群时取消步骤。
-
使用 Amazon EMR 版本 5.28.0 和更高版本,可以取消待处理步骤和正在运行的步骤。您还可以选择并行运行多个步骤以提高集群利用率并节省成本。有关更多信息,请参阅 向 Amazon EMR 提交工作时并行运行多个步骤的注意事项。
注意
为了获得最佳性能,我们建议您将要与 Amazon EMR 配合使用的自定义引导操作、脚本和其他文件存储在某一 Amazon S3 存储桶中,该存储桶与您的集群位于相同的 Amazon Web Services 区域 中。