什么是 Amazon Batch? - Amazon Batch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Batch?

借助 Amazon Batch,您可以在 Amazon Web Services 云上运行批处理计算工作负载。批量计算是开发人员、科学家和工程师用来访问大量计算资源的常见方法。Amazon Batch 将会消除配置和管理所需基础设施的千篇一律的繁重工作,与传统批量计算软件相似。此服务可以有效地预配置资源以响应提交的作业,以便消除容量限制、降低计算成本和快速交付结果。

作为一项完全托管服务,Amazon Batch 有助于您运行任意规模的批量计算工作负载。Amazon Batch 将根据工作负载的数量和规模自动预置计算资源并优化工作负载分配。有了 Amazon Batch 之后,不再需要安装或管理批量计算软件,从而使您可以将时间放在分析结果和解决问题上。

Amazon Batch 的组成部分

Amazon Batch 可让您轻松地在一个区域内跨多个可用区运行批处理任务。您可以在新的或现有的 VPC 中创建 Amazon Batch 计算环境。在计算环境就绪并与任务队列关联后,您可以定义任务定义,以指定要运行任务的 Docker 容器映像。容器映像将在容器注册表中存储和提取,可能存在于您的 Amazon 基础设施的内部或外部。

任务

提交到 Amazon Batch 的工作单位 (如 shell 脚本、Linux 可执行文件或 Docker 容器映像)。它具有名称,并在您的计算环境中的 Amazon Fargate 或 Amazon EC2 资源上作为容器化应用程序运行 (使用您在任务定义中指定的参数)。任务可以按名称或按 ID 引用其他任务,并且可以依赖于其他任务的成功完成。有关更多信息,请参阅作业

作业定义

作业定义指定作业的运行方式。您可以把作业定义看成是任务中的资源的蓝图。您可以为作业提供 IAM 角色以提供对其他 Amazon 资源的访问权限。您还可以指定内存和 CPU 要求。任务定义还可以控制容器属性、环境变量和持久性存储的挂载点。任务定义中的许多规范可以通过在提交单个任务时指定新值来覆盖。有关更多信息,请参阅作业定义

作业队列

当您提交 Amazon Batch 任务时,会将其提交到特定的任务队列中,然后它驻留在那里直到被安排到计算环境中为止。将一个或多个计算环境与作业队列相关联。您还可以为这些计算环境甚至作业队列本身分配优先级值。例如,您可以有一个高优先级队列用以提交时间敏感型任务,以及一个低优先级队列供可在计算资源较便宜时随时运行的任务使用。

计算环境

计算环境是一组用于运行任务的托管或非托管计算资源。在托管计算环境中,您可以按多个详细级别指定所需的计算类型(Fargate 或 EC2)。您可以设置使用特定类型 EC2 实例的计算环境,例如 c5.2xlargem5.10xlarge。或者,您也可以选择仅指定要使用最新的实例类型。您还可以指定环境的最小、期望和最大 vCPU 数量,以及您愿意为竞价型实例支付的金额占按需型实例价格的百分比以及目标 VPC 子网集。Amazon Batch 将根据需要有效地启动、管理和终止计算类型。您还可以管理自己的计算环境。因此,您负责在 Amazon Batch 为您创建的 Amazon ECS 集群中设置和扩展实例。有关更多信息,请参阅计算环境

入门

通过在 Amazon Batch 控制台中创建任务定义、计算环境和任务队列来开始使用 Amazon Batch。

Amazon Batch 首次运行向导为您提供了创建计算环境和作业队列并提交示例 Hello World 作业的选项。如果您具有要在 Amazon Batch 中启动的 Docker 映像,则可以使用此映像创建作业定义并改为将此定义提交到您的队列。有关更多信息,请参阅入门 Amazon Batch

控制面板

在 Amazon Batch 控制面板上,您可以监控最近的作业、作业队列和计算环境。默认情况下,会显示以下控制面板小组件:

  • 作业概述 - 有关 Amazon Batch 作业的更多信息,请参阅 作业

  • 作业队列概述 - 有关 Amazon Batch 作业队列的更多信息,请参阅 作业队列

  • 计算环境概述 - 有关 Amazon Batch 计算环境的更多信息,请参阅 计算环境

您可以自定义“控制面板”页面上显示的小组件。以下各节描述了您可以安装的其他小组件。

单个作业队列

此小组件显示有关单个作业队列的详细信息。

要添加此小组件,请按照以下步骤操作。

  1. 打开 Amazon Batch 控制台

  2. 从导航栏中,选择您想要的 Amazon Web Services 区域。

  3. 在导航窗格中,选择 Dashboard (控制面板)

  4. 选择添加小部件

  5. 对于单一作业队列,选择添加小组件

  6. 对于作业队列,选择所需的作业队列。

  7. 对于作业状态,选择要显示的作业状态。

  8. (可选)如果您不想显示计算环境的属性,请禁用显示连接的计算环境

  9. 计算环境属性中,选择所需的属性。

  10. 选择 Add(添加)。

CloudWatch Container Insights

此小组件显示 Amazon Batch 计算环境和作业的汇总指标。有关安装 Container Insights 的更多信息,请参阅 Amazon Batch CloudWatch Container Insights

要添加此小组件,请按照以下步骤操作。

  1. 打开 Amazon Batch 控制台

  2. 从导航栏中,选择您想要的 Amazon Web Services 区域。

  3. 在导航窗格中,选择 Dashboard (控制面板)

  4. 选择添加小部件

  5. 对于容器洞察,请选择添加小组件

  6. 对于计算环境,选择所需的计算环境。

  7. 选择 Add(添加)。

作业日志

此小组件在一个方便的位置显示作业的不同日志。有关作业日志的更多信息,请参阅 作业日志

要添加此小组件,请按照以下步骤操作。

  1. 打开 Amazon Batch 控制台

  2. 从导航栏中,选择您想要的 Amazon Web Services 区域。

  3. 在导航窗格中,选择 Dashboard (控制面板)

  4. 选择添加小部件

  5. 对于作业日志,选择添加小组件

  6. 作业 ID 中,输入所需作业的作业 ID。

  7. 选择 Add(添加)。