自动将更新导出到 S3 存储桶 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动将更新导出到 S3 存储桶

您可以为 Lustre 文件系统配置 FSx,以便在文件系统上添加、更改或删除文件时自动更新链接 S3 存储桶的内容。可以导出文件创建、删除、重命名和属性更改等更改。链接的 S3 存储库可以是整个 S3 存储桶或 S3 前缀。

文件系统和 S3 数据存储库之间的链接称为数据存储库关联 (DRA). 您可以随时链接或取消链接 S3 数据存储库。您可以在数据存储库关联上配置自动导出功能。有关创建数据存储库关联的信息,请参阅将文件系统链接到 S3 存储桶.

注意

对数据存储库关联、自动导出和多个存储库的 Support 仅在Persistent 2文件系统。

您可以导出到同一个数据存储库Amazon Web Services 区域作为文件系统或在不同的Amazon Web Services 区域.

您可以在为 S3 存储库创建数据存储库关联时或创建数据存储库关联后的任何时候配置自动导出设置。您可以随时使用 FSx 管理控制台更新自动导出设置Amazon CLI,以及AmazonAPI。

注意

您可以在同一数据存储库关联上配置自动导出和自动导入。本主题仅介绍自动导出功能。

导出设置指定了当链接到数据存储库的文件系统目录中的内容发生变化时,您希望 Amazon FSx 如何更新链接的 S3 存储桶。数据存储库关联可以是以下自动导出策略之一:

  • New— 仅当在文件系统上创建新文件、目录或符号链接时才更新 S3 数据存储库。

  • Changed— 仅当文件系统中的现有对象发生更改时才更新 S3 数据存储库。对于文件内容更改,必须先关闭该文件,然后才能传播到 S3 存储库。操作完成后,元数据更改(重命名、所有权、权限和时间戳)将传播。为了重命名更改,将删除现有(预先重命名的)S3 对象,并使用新名称创建 S3 新对象。

  • Deleted (已删除)— 仅当文件系统路径中的文件、目录或符号链接被删除时才更新 S3 数据存储库。配置此导出策略后,S3 存储桶中的相应对象将被删除。

  • 新的、更改和删除的任意组合— 在满足这些配置的策略中的任何一个时候更新 S3 数据存储库。例如,您可以指定在将对象添加到时更新 S3 存储库 (New) 或者从 (Deleted (已删除)) 文件系统,但不是当它被更改时。

  • 未配置任何策略— Amazon FSx 不会为文件系统上的任何新的、更改或删除的对象更新 S3 存储库。如果没有配置导出策略,自动导出将被禁用。您仍然可以使用导出数据存储库任务手动导出更改,如中所述使用数据存储库任务导出数据和元数据更改.

我们建议您配置的导出策略NewChanged, 和Deleted (已删除). 此策略可确保在文件系统上进行的所有更新都会自动导出到链接的 S3 存储桶中。

您可以启用日志记录到 CloudWatch 日志记录有关无法自动导出的任何文件或目录的信息。日志条目包含有关导出失败的 Lustre 文件系统上的文件或目录路径以及失败原因的信息。有关更多信息,请参阅 排查导入和导出失败

更新导出设置

创建数据存储库关联时,您可以将文件系统的导出设置设置设置设置为链接的 S3 存储桶。有关更多信息,请参阅 创建指向 S3 存储桶的链接

您还可以随时更新导出设置,包括导出策略。有关更多信息,请参阅 更新数据存储库关联设置