作业依赖项
提交 Amazon Batch 作业时,您可以指定该作业依赖的作业 ID。在执行此操作时,Amazon Batch 计划程序将确保您的作业仅在指定的依赖项已成功完成后运行。成功后,依赖性作业将从 PENDING 转换到 RUNNABLE,然后再转换到 STARTING 和 RUNNING。如果任何作业依赖项失败,则依赖性作业会自动从 PENDING 转换到 FAILED。
例如,作业 A 可依赖于最多 20 个作业,这些作业必须成功,然后才能运行作业 A。然后,您可以提交依赖于作业 A 的其他作业,最多 19 个其他作业。
对于数组作业,您可以指定 SEQUENTIAL 类型依赖项,而无需指定作业 ID,以便每个子数组作业按顺序完成 (从索引 0 开始)。您也可以使用作业 ID 指定 N_TO_N 类型依赖项。这样一来,此作业的每个子索引必须等待每个依赖项的相应子索引完成后才能开始。有关更多信息,请参阅 数组作业。
要提交具有依赖项的 Amazon Batch 任务,请参阅教程:提交作业。
资源感知调度 允许您根据运行作业所需的消耗性资源来调度作业。您可以指定作业运行所需的消耗性资源,Batch 在调度作业时会考虑这些资源依赖项。您可以通过仅分配具有全部所需资源的作业来减少计算资源利用不足的情况。资源感知调度支持 FIFO 和公平份额调度策略,并且可以与 Batch 支持的所有计算平台结合使用,包括 EKS、ECS 和 Fargate。此功能可用于数组作业、多节点并行(MNP)作业和常规 Batch 作业。