管理 S3 批处理操作作业 - Amazon Simple Storage Service
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

欢迎使用新的 Amazon S3 用户指南! Amazon S3 用户指南结合了以下三个已停用的指南中的信息和说明:Amazon S3 开发人员指南Amazon S3 控制台用户指南Amazon S3 入门指南

管理 S3 批处理操作作业

Amazon S3 提供一组功能强大的工具,帮助您在创建批处理操作作业后管理作业。此部分介绍可用于管理作业的操作。您可以使用 AWS 管理控制台、AWS CLI、AWS 开发工具包或 REST API 来执行本部分列出的所有操作。

跟踪作业失败

如果 S3 批处理操作作业遇到的问题使其无法成功运行(如无法读取指定清单),则该作业失败。作业失败时,系统会生成一个或多个故障代码或失败原因。S3 批处理操作将故障代码和原因与作业一起存储,以便于您通过请求作业的详细信息来查看。如果您请求作业的完成报告,同时还会显示故障代码和原因。

为防止作业运行大量不成功的操作,Amazon S3 会对每个批处理操作作业施加作业失败阈值。当作业已运行至少 1000 个任务时,Amazon S3 将监控任务失败率。在任何时刻,如果失败率(失败的任务数占已运行任务总数的比例)超过 50%,则作业失败。如果作业由于超过了任务失败阈值而失败,您可以确定造成失败的原因。例如,您可能在清单中意外地包括了一些指定存储桶中不存在的对象。修复错误之后,您可以重新提交作业。

注意

S3 批处理操作异步操作,任务不一定按照清单中所列的对象顺序来运行。因此您不能使用清单顺序来确定哪些对象的任务成功,哪些对象的任务失败。而是可以通过查看作业的完成报告(如果已请求)或查看 AWS CloudTrail 事件日志来帮助确定失败原因。

通知和日志记录

除了请求完成报告外,您还可以使用 AWS CloudTrail 捕获、查看和审核批处理操作活动。由于批处理操作使用现有的 Amazon S3 API 来执行任务,所以这些任务还会发出与您直接调用这些 API 时相同的事件。因此,您可以使用相同的通知、日志记录和审核工具以及已用于 Amazon S3 的进程来跟踪和记录您的作业及其所有任务的进度。有关更多信息,请参阅 通过 AWS CloudTrail 在 Amazon EventBridge 中跟踪 S3 批处理操作作业

注意

Amazon S3 批处理操作在作业执行期间在 CloudTrail 中生成管理事件和数据事件。这些事件的数量随每个作业清单中的键数量而扩展。有关详细信息,请参阅 CloudTrail 定价页面,其中包括定价如何根据您在账户中配置的 CloudTrail 数量而变化的示例。要了解如何配置和记录事件以满足您的需求,请参阅 AWS CloudTrail 用户指南中的创建您的第一个跟踪

有关 Amazon S3 事件的更多信息,请参阅Amazon S3 事件通知

完成报告

在创建作业时,您可以请求完成报告。只要 S3 批处理操作成功调用至少一个任务,Amazon S3 便会在运行任务完成、失败或被取消后生成完成报告。可对完成报告进行配置,以包含所有任务或只包含失败的任务。

完成报告包含任务配置以及每个任务的状态和信息,包括对象键和版本、状态、错误代码以及任何错误的描述。完成报告提供了以合并格式查看任务结果的简单途径,且无需进行任何附加设置。有关完成报告的示例,请参阅S3 批处理操作完成报告

如果您未配置完成报告,则仍可使用 CloudTrail 和 Amazon CloudWatch 监控并审核您的作业及其任务。有关更多信息,请参阅通过 AWS CloudTrail 在 Amazon EventBridge 中跟踪 S3 批处理操作作业