自动将更新导出到您的 S3 存储桶 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动将更新导出到您的 S3 存储桶

您可以将 FSx for Lustre 文件系统配置为在文件系统上添加、更改或删除文件时自动更新链接 S3 存储桶的内容。FsX for Lustre 创建、更新或删除 S3 中的对象,对应于文件系统的更改。

注意

自动导出仅在Persistent 2文件系统上可用。

您可以导出到与文件系统Amazon Web Services 区域相同或位于不同文件系统的数据存储库Amazon Web Services 区域。

您可以在创建数据存储库关联时配置自动导出,并随时使用 FSx 管理控制台Amazon CLI、和Amazon API 更新自动导出设置。

注意

您可以在同一个数据存储库关联上配置自动导出和自动导入。本主题仅介绍自动导出功能。

重要
  • 如果在启用所有自动导出策略并禁用自动导入的情况下在文件系统中修改文件,则该文件的内容将始终导出到 S3 中的相应对象。如果目标位置已存在对象,则该对象将被覆盖。

  • 如果文件系统和 S3 中都修改了文件,启用了所有自动导入和自动导出策略,则文件系统中的文件或 S3 中的对象都可能被另一个系统覆盖。不能保证稍后在一个位置的编辑会覆盖先前在另一个位置进行的编辑。如果您在文件系统和 S3 存储桶中修改相同的文件,则应确保应用程序级别的协调以防止此类冲突。FsX for Lustre 无法防止在多个位置发生写入冲突。

导出策略指定在文件系统内容发生变化时,您希望 FsX for Lustre 如何更新链接的 S3 存储桶。数据存储库关联可能具有下列自动导出策略之一:

  • 增 — 只有在文件系统上创建新文件、目录或符号链接时,FsX for Lustre 才会自动更新 S3 数据存储库。

  • 已更改 — 仅当文件系统中的现有文件发生更改时,FsX for Lustre 才会自动更新 S3 数据存储库。对于文件内容的更改,必须先关闭文件,然后才能将其传播到 S3 存储库。元数据更改(重命名、所有权、权限和时间戳)将在操作完成后传播。要重命名更改(包括移动),将删除现有(预重命名的)S3 对象,并使用新名称创建一个新的 S3 对象。

  • 已删除 — 只有在文件系统中删除文件、目录或符号链接时,FsX for Lustre 才会自动更新 S3 数据存储库。

  • 新建”、“已更改” 和 “已删除” 的任意组合 — 当文件系统中发生任何指定操作时,FsX for Lustre 会自动更新 S3 数据存储库。例如,您可以指定在文件系统中添加(新建)或从(已删除)文件系统中删除(已删除)时更新 S3 存储库,但不能在更改文件时更新。

  • 未配置策略 — 在文件系统中添加、更改文件或从文件系统中删除文件时,FsX for Lustre 不会自动更新 S3 数据存储库。如果您未配置导出策略,则禁用自动导出。您仍然可以使用导出数据存储库任务手动导出更改,如中所述使用数据存储库任务导出更改

对于大多数用例,我们建议您将导出策略配置为 “新建”、“已更改” 和 “已删除”。此策略可确保在您的文件系统上进行的所有更新都自动导出到您的链接的 S3 数据存储库。

我们建议您开启日志记录功能,以记录有关任何无法自动导出的文件或目录的信息。 CloudWatch 日志中的警告和错误包含有关失败原因的信息。有关更多信息,请参阅数据存储库事件日志

更新导出设置

在创建数据存储库关联时,您可以将文件系统的导出设置设置设置设置设置为链接的 S3 存储桶。有关更多信息,请参阅创建指向 S3 存储桶的链接

您也可以随时更新导出设置,包括导出策略。有关更多信息,请参阅更新数据存储库关联设置