自动从 S3 存储桶导入更新 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动从 S3 存储桶导入更新

创建数据存储库关联时,您可以将 Amazon FSx 配置为自动将链接 S3 存储桶中对象的文件元数据(名称、所有权、时间戳和权限)导入文件系统。您可以为 Lustre 文件系统配置 FSx,以便自动导入添加到 S3 存储桶、在 S3 存储桶中更改或从 S3 存储桶中删除的对象的元数据。FSx for Lustre 会更新已更改对象的文件和目录列表,如果 S3 存储桶中更改的对象不再包含其元数据,Amazon FSx 将维护文件的当前元数据值,而不是使用默认权限。

注意

对于 Lustre 文件系统的 FSx 和链接的 S3 存储桶必须位于同一个Amazon Web Services 区域以自动导入更新。

您可以在创建数据存储库关联时设置导入设置,也可以随时使用 FSx 管理控制台(Amazon CLI,以及AmazonAPI。将文件系统链接到 S3 数据存储库时,现有 S3 对象将显示为文件和目录列表。有关创建数据存储库关联的信息,请参阅将文件系统链接到 S3 存储桶.

注意

如果在导入期间 S3 数据存储库与文件系统之间发生文件冲突,S3 始终以 S3 为准。因此,如果 S3 目录中存在同名但内容不同的文件,S3 可以修改文件系统目录中的文件。

数据存储库关联可具有以下导入策略设置之一:

  • New— Amazon FSx 会自动更新添加到链接的 S3 存储桶中但当前不存在于 FSx 文件系统中的新对象的文件和目录列表。

  • Changed— Amazon FSx 会自动更新 S3 存储桶中更改的任何现有对象的文件和目录列表。更改包括内容和元数据更改。

  • Deleted (已删除)— Amazon FSx 会自动删除 S3 存储桶中删除的文件系统上删除的对象列表。

  • 新建、更改和已删除的任意组合— 当 S3 数据存储库中出现这些配置的策略中的任何一个时,Amazon FSx 会自动更新文件系统上的对象列表。例如,您可以指定在将对象添加到时更新文件系统 (New) 或者从 (Deleted (已删除)) S3 存储库,但不是当对象被更改时。

  • 未配置任何策略— 在 S3 存储桶中添加、更改或删除对象时,Amazon FSx 不会更新文件系统上的对象列表。如果未配置导入策略,则对于数据存储库关联禁用自动导入。您仍然可以使用导入数据存储库任务手动导入元数据更改,如中所述使用数据存储库任务导入元数据更改.

我们建议您配置导入策略NewChanged, 和Deleted (已删除). 此策略可确保在链接 S3 存储桶中进行的所有更新都会自动导入到文件系统中。

当您设置导入设置以根据链接 S3 存储桶中的更改更新文件系统文件和目录列表时,Amazon FSx 会在名为的链接 S3 存储桶上创建事件通知配置FSx. 请勿修改或删除FSxS3 存储桶上的事件通知配置 — 这样做将防止自动将更新的文件和目录列表导入到文件系统中。

当 Amazon FSx 更新链接 S3 存储桶上已更改的文件列表时,即使该文件已写锁定,也会使用更新版本覆盖本地文件。

Amazon FSx 会尽最大努力更新您的文件系统。在以下情况下,Amazon FSx 无法使用更新更新文件系统:

  • 如果 Amazon FSx 没有权限打开更改或新的 S3 对象。在这种情况下,亚马逊 FSx 会跳过对象并继续。DRA 生命周期状态不受影响。

  • 如果 Amazon FSx 没有存储桶级权限,例如getBucketAcl. 这将导致数据存储库生命周期状态变为配置错误. 有关更多信息,请参阅 数据库关联生命周期状态

  • 如果FSx已删除或更改链接 S3 存储桶上的事件通知配置。这将导致数据存储库生命周期状态变为配置错误. 有关更多信息,请参阅 数据库关联生命周期状态

最佳做法是定期扫描链接的 S3 存储桶并比较对文件系统上文件列表的更改,尤其是如果您的应用程序需要导入更改的保证。

先决条件

Amazon FSx 需要满足以下条件才能从链接的 S3 存储桶中自动导入新的、更改或删除的文件:

  • 文件系统及其链接的 S3 存储桶位于同一个Amazon Web Services 区域.

  • S3 存储桶没有配置错误生命期状态. 有关更多信息,请参阅 数据库关联生命周期状态

  • 您的账户具有在关联的 S3 存储桶上配置和接收事件通知所需的权限。

支持的文件更改类型

Amazon FSx 支持将以下更改导入到链接 S3 存储桶中发生的文件和文件夹中:

  • 对文件内容的更改,

  • 对文件或文件夹元数据的更改,

  • 对符号链接目标或元数据的更改。

  • 删除文件和文件夹。如果您删除链接的 S3 存储桶中的文件夹,则只有在文件系统上的相应文件夹为空时,Amazon FSx 才会删除该文件夹。

更新导入设置

创建数据存储库关联时,您可以将文件系统的导入设置设置设置为链接的 S3 存储桶。有关更多信息,请参阅 创建指向 S3 存储桶的链接

您还可以随时更新导入设置,包括导入策略。有关更多信息,请参阅 更新数据存储库关联设置