自动从 S3 存储桶导入更新 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动从 S3 存储桶导入更新

创建数据存储库关联时,您可以将 Amazon FSx 配置为自动将链接的 S3 存储桶中对象的文件元数据(名称、所有权、时间戳和权限)导入文件系统。您可以配置 FSx for Lustre 文件系统,以便自动导入添加到 S3 桶中或从您的 S3 桶中删除的对象的元数据。FsX for Lustre 会更新已更改对象的文件和目录列表,如果 S3 存储桶中已更改的对象不再包含其元数据,则 Amazon FSx 将维护该文件的当前元数据值,而不是使用默认权限。

注意

FsX for Lustre 文件系统和链接的 S3 存储段必须位于同一存储段Amazon Web Services 区域才能自动导入更新。

您可以在创建数据存储库关联时设置导入设置,也可以随时使用 FSx 管理控制台Amazon CLI、和Amazon API 更新这些导入设置。当您将文件系统链接到 S3 数据存储库后,现有 S3 对象将显示为文件和目录列表。有关创建数据存储库关联的信息,请参见将您的文件系统链接到 S3 存储桶

注意

如果在导入期间 S3 数据存储库和您的文件系统之间出现文件冲突,则 S3 始终占上风。因此,如果 S3 目录中存在同名但内容不同的文件,S3 可以修改文件系统目录中的文件。

数据存储库关联可能具有下列导入策略设置之一:

  • Ne@@ w — Amazon FSx 会自动更新添加到链接的 S3 桶中但当前不存在于 FSx 文件系统中的新对象的文件和目录列表。

  • 已更改 — Amazon FSx 会自动更新 S3 桶中更改的任何现有对象的文件和目录列表。更改包括内容和元数据更改。

  • 已删除 — Amazon FSx 会自动删除文件系统中在 S3 桶中被删除的对象列表。

  • 新建”、“已更改” 和 “已删除” 的任意组合 — 当 S3 数据存储库中出现任何配置的策略时,Amazon FSx 会自动更新文件系统上的对象列表。例如,您可以指定在将对象添加到(新建)或从 S3 存储库中删除(已删除)时更新文件系统,但不能指定在更改对象时更新文件系统。

  • 未配置任何策略 — 在 S3 存储桶中添加、更改或删除对象时,Amazon FSx 不会更新文件系统上的对象列表。如果您未配置导入策略,则禁用数据存储库关联的自动导入。您仍然可以使用导入数据存储库任务手动导入元数据更改,如中所述使用数据存储库任务导入元数据更改

我们建议您将导入策略配置为 “新建”、“已更改” 和 “已删除”。此策略可确保在链接的 S3 存储桶中进行的所有更新都自动导入到您的文件系统。

当您设置导入设置以根据链接 S3 存储桶中的更改更新文件系统文件和目录列表时,Amazon FSx 会在名为的链接 S3 存储桶上创建事件通知配置FSx。请勿修改或删除 S3 存储桶上的FSx事件通知配置,这样做会阻止将更新的文件和目录列表自动导入您的文件系统。

当 Amazon FSx 更新链接的 S3 存储桶上已更改的文件列表时,即使文件处于写锁定状态,它也会使用更新的版本覆盖本地文件。

Amazon FSx 会尽最大努力更新您的文件系统。在以下情况下,Amazon FSx 无法使用更新来更新文件系统:

  • 如果 Amazon FSx 无权打开已更改的或新的 S3 对象。在这种情况下,Amazon FSx 会跳过该对象并继续操作。DRA 生命周期状态不受影响。

  • 如果 Amazon FSx 没有存储桶级别的权限,例如 forgetBucketAcl。这将导致数据存储库生命周期状态变为配置错误。有关更多信息,请参阅数据存储库关联生命周期状态

  • 如果关联的 S3 存储桶上的FSx事件通知配置被删除或更改。这将导致数据存储库生命周期状态变为配置错误。有关更多信息,请参阅数据存储库关联生命周期状态

最佳做法是定期扫描链接的 S3 存储桶并将更改与文件系统上的文件列表进行比较,尤其是在您的应用程序需要保证导入更改的情况下。

先决条件

Amazon FSx 需要满足以下条件才能自动从关联的 S3 存储桶中导入新的、已更改或删除的文件:

  • 文件系统及其关联的 S3 存储段位于同一存储段中Amazon Web Services 区域。

  • S3 存储桶没有配置错误的生命周期状态。有关更多信息,请参阅数据存储库关联生命周期状态

  • 您的账户拥有在关联的 S3 存储桶上配置和接收事件通知所需的权限。

支持的文件更改类型

Amazon FSx 支持导入对链接的 S3 存储桶中发生的文件和文件夹的以下更改:

  • 文件内容的更改,

  • 文件或文件夹元数据的更改,

  • 对符号链接目标或元数据的更改。

  • 删除文件和文件夹。如果您删除链接的 S3 存储桶中的文件夹,Amazon FSx 仅在文件系统上的相应文件夹为空时才会将其删除。

更新导入设置

在创建数据存储库关联时,您可以将文件系统的导入设置设置设置设置设置到链接的 S3 存储桶。有关更多信息,请参阅创建 S3 存储桶的链接

您也可以随时更新导入设置,包括导入策略。有关更多信息,请参阅更新数据存储库关联设置