本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
什么是 Amazon Batch?
借助 Amazon Batch,您可以在 Amazon Web Services 云上运行批处理计算工作负载。Batch 计算是开发人员、科学家和工程师访问大量计算资源的常用方式。 Amazon Batch与传统的批处理计算软件类似,消除了配置和管理所需基础架构的无差别繁重工作。此服务可以有效地预配置资源以响应提交的作业,以便消除容量限制、降低计算成本和快速交付结果。
作为一项完全托管的Amazon Batch服务,您可以运行任何规模的批处理负载。 Amazon Batch自动配置计算资源并根据工作负载的数量和规模优化工作负载分配。使用Amazon Batch,无需安装或管理批量计算软件,因此您可以将时间集中在分析结果和解决问题上。
Amazon Batch 的组成部分
Amazon Batch简化正在运行的容器。您可以在新的或现有的 VPC 中创建 Amazon Batch 计算环境。在计算环境就绪并与任务队列关联后,您可以定义任务定义,以指定要运行任务的 Docker 容器映像。容器映像将在容器注册表中存储和提取,可能存在于您的 Amazon 基础设施的内部或外部。
任务
提交到 Amazon Batch 的工作单位 (如 shell 脚本、Linux 可执行文件或 Docker 容器映像)。它有名称,并使用您在任务定义中指定的参数,在您的计算环境中的 Amazon EC2 资源上Amazon Fargate作为容器化应用程序运行。任务可以按名称或按 ID 引用其他任务,并且可以依赖于其他任务的成功完成。有关更多信息,请参阅任务:
作业定义
作业定义指定如何运行作业。您可以将作业定义视为工作中资源的蓝图。您可以为任务提供 IAM 角色以提供对其他Amazon资源的访问权限。您还可以指定内存和 CPU 要求。任务定义还可以控制容器属性、环境变量和持久性存储的挂载点。任务定义中的许多规范可以通过在提交单个任务时指定新值来覆盖。有关更多信息,请参阅 Job 定义
作业队列
当您提交Amazon Batch任务时,您将其提交到特定的作业队列,该作业一直驻留在那里,直到它被安排到计算环境中。您将一个或多个计算队列关联。您还可以为这些计算环境甚至跨任务队列本身分配优先级值。例如,您可以有一个高优先级队列供您向其提交时间敏感型作业,也可以有一个低优先级队列用于在计算资源更便宜时随时运行的作业。
计算环境
计算环境是一组用于运行任务的托管或非托管计算资源。使用托管计算环境,您可以在多个详细级别指定所需的计算类型(Fargate 或 EC2)。您可以设置使用特定类型的 EC2 实例(例如c5.2xlarge
或)的计算环境m5.10xlarge
。或者,您可以选择仅指定要使用最新的实例类型。您还可以指定环境的最小、所需和最大 vCPUs 数量,以及您愿意为竞价型实例支付的金额占按需实例价格和一组目标 VPC 子网的百分比。 Amazon Batch根据需要高效启动、管理和终止计算类型。您还可以管理自己的计算环境。因此,您负责在为您Amazon Batch创建的 Amazon ECS 集群中设置和扩展实例。有关更多信息,请参阅计算环境:
入门
通过在 Amazon Batch 控制台中创建任务定义、计算环境和任务队列来开始使用 Amazon Batch。
Amazon Batch首次运行向导允许您选择创建计算环境和任务队列并提交 Hello World 作业示例。如果您已有在 Docker 映像中Amazon Batch启动的 Docker 映像,可以使用该映像创建任务定义并改为将其提交队列。有关更多信息,请参阅开始使用 Amazon Batch:
控制面板
在Amazon Batch仪表板上,您可以监控最近的作业、作业队列和计算环境。默认情况下,显示以下仪表板小部件:
您可以自定义显示在 “仪表板” 页面上的控件。以下部分描述了您可以安装的其他小部件。
单队列
此控件显示有关单个作业队列的详细信息。
要添加此控件,请按照以下步骤操作。
-
打开 Amazon Batch 控制台
。 -
从导航栏Amazon Web Services 区域中。
-
在导航窗格中,选择 Dashboard (控制面板)。
-
选择 “添加小部件”。
-
对于 “单个任务队列”,选择 “添加微件”。
-
对于 Job 队列,选择所需的作业队列。
-
对于 Job 状态,选择要显示的作业状态。
-
(可选)如果您不想显示计算环境的属性,请关闭 “显示连接的计算环境”。
-
对于计算环境属性,选择所需的属性。
-
选择 Add(添加)。
CloudWatch Conta
此控件显示Amazon Batch计算环境和作业的汇总指标。有关安装 Container Insights 的更多信息,请参阅 Amazon Batch CloudWatch Contain。
要添加此控件,请按照以下步骤操作。
-
打开 Amazon Batch 控制台
。 -
从导航栏Amazon Web Services 区域中。
-
在导航窗格中,选择 Dashboard (控制面板)。
-
选择 “添加小部件”。
-
要获得容器见解,请选择添加控件。
-
对于计算环境,选择所需的计算环境。
-
选择 Add(添加)。
Job 志
该小工具中显示不同日志。有关作业日志,请参阅 作业日志。
要添加此控件,请按照以下步骤操作。
-
打开 Amazon Batch 控制台
。 -
从导航栏Amazon Web Services 区域中。
-
在导航窗格中,选择 Dashboard (控制面板)。
-
选择 “添加小部件”。
-
对于 Job 日志,选择添加微件。
-
在 Job ID 中,输入所需作业的作业 ID。
-
选择 Add(添加)。