S3 批处理操作基础知识 - Amazon Simple Storage Service
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

欢迎使用新的 Amazon S3 用户指南! Amazon S3 用户指南结合了以下三个已停用的指南中的信息和说明:Amazon S3 开发人员指南Amazon S3 控制台用户指南Amazon S3 入门指南

S3 批处理操作基础知识

您可以使用 S3 批处理操作对 Amazon S3 对象执行大规模批处理操作。S3 批处理操作可以对您指定的 Amazon S3 对象列表运行单个操作。

术语

此部分使用的术语作业操作任务 定义如下:

作业

作业是 S3 批处理操作的基本工作单位。作业包含对清单中所列对象运行指定操作所需的全部信息。在您提供此信息并请求作业开始后,作业将对清单中的每个对象执行操作。

运算

操作是您希望批处理操作作业运行的 API 操作的类型,例如复制对象。对于清单中指定的所有对象,每个作业执行单一类型的操作。

任务

任务是作业的执行单元。任务表示为了对单个对象执行作业的操作而对 Amazon S3 或 AWS Lambda API 操作进行的单个调用。在作业的生命周期内,S3 批处理操作将为清单中指定的每个对象创建一个任务。

S3 批处理操作作业的工作原理

作业是 S3 批处理操作的基本工作单位。作业包含要对对象列表运行指定操作所需的全部信息。要创建作业,您需要向 S3 批处理操作提供对象列表并指定要对这些对象执行的操作。

S3 批处理操作支持以下操作:

批处理作业将对其清单中包含的每个对象执行指定操作。清单列出了您希望批处理作业进行处理的对象并将其作为对象存储在存储桶中。您可以使用 CSV 格式的 Amazon S3 清单 报告作为清单,这样便于轻松创建位于存储桶中的大型对象列表。您还可以指定采用简单的 CSV 格式的清单,这样您便可对单个存储桶中包含的对象的自定义列表执行批处理操作。

在您创建作业后,Amazon S3 将处理清单中的对象列表并对每个对象运行指定的操作。在执行作业时,您可以编程方式或通过 Amazon S3 控制台监控其进度。您还可以对作业进行配置,以便在其完成时生成完成报告。完成报告会描述作业已执行的每个任务的结果。有关监控作业的更多信息,请参阅管理 S3 批处理操作作业