将工作提交到 Amazon EMR 集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

将工作提交到 Amazon EMR 集群

此部分描述您可用于向 Amazon EMR 集群提交工作的方法。您可以通过添加步骤或以交互方式向主节点提交 Hadoop 任务的形式向集群提交工作。

向集群提交步骤时,请考虑以下步骤行为规则:

  • 步骤 ID 最多可包含 256 个字符。

  • 一个集群中最多可以有 256 个待处理和正在运行的步骤。

  • 即使集群上运行有 256 个活动步骤,您可以采用交互方式向主节点提交任务。您可以在长时间运行的集群的生命周期内提交不限数量的步骤,但是,在给定时间只能有 256 个步骤处于 RUNNING 或 PENDING 状态。

  • 对于 Amazon EMR 版本 4.8.0 和更高版本(版本 5.0.0 除外),您可以取消待处理步骤。有关更多信息,请参阅 将工作提交到 Amazon EMR 集群时取消步骤

  • 使用 Amazon EMR 版本 5.28.0 和更高版本,可以取消待处理步骤和正在运行的步骤。您还可以选择并行运行多个步骤以提高集群利用率并节省成本。有关更多信息,请参阅 向 Amazon EMR 提交工作时并行运行多个步骤的注意事项

注意

为了获得最佳性能,我们建议您将要与 Amazon EMR 配合使用的自定义引导操作、脚本和其他文件存储在某一 Amazon S3 存储桶中,该存储桶与您的集群位于相同的 Amazon Web Services 区域 中。