将文件系统链接到 Amazon S3 存储桶
您可以将适用于 Lustre 的 Amazon FSx 文件系统链接到 Amazon S3 中的数据存储库。您可以在创建文件系统时,或者在文件系统创建后的任何时间创建该链接。
文件系统上的目录与 S3 桶或前缀之间的链接称为数据存储库关联(DRA)。一个 FSx for Lustre 文件系统上最多可以配置 8 个数据存储库关联。最多 8 个 DRA 请求可以加入队列,但文件系统每次只能处理一个请求。每个 DRA 必须有唯一的 FSx for Lustre 文件系统目录以及唯一的 S3 桶或前缀与之关联。
注意
FSx for Lustre 2.10 文件系统或 Scratch 1 文件系统不提供数据存储库关联、自动导出和针对多个数据存储库的支持。
要以文件系统上文件和目录的形式访问 S3 数据存储库上的对象,文件和目录元数据必须加载到文件系统中。您可以在创建 DRA 时从链接的数据存储库加载元数据,或者在稍后使用导入数据存储库任务时为您要通过 FSx for Lustre 文件系统访问的批量文件和目录加载元数据,或者在对象添加到数据存储库、在其中发生更改或者从中删除时通过自动导出自动加载元数据。
您可以将 DRA 配置为仅用于自动导入、仅用于自动导出或同时用于两者。同时用于自动导入和自动导出的数据存储库关联在文件系统和关联 S3 存储桶之间双向传播数据。当您对 S3 数据存储库中的数据进行更改时,FSx for Lustre 会检测到更改,然后自动将更改导入您的文件系统。当您创建、修改或删除文件时,适用于 Lustre 的 Amazon FSx 将在您的应用程序完成文件修改后,自动异步将更改导出到 Amazon S3。
重要
如果您在文件系统和 S3 桶中修改同一个文件,您应该确保应用程序级协调以防止冲突。FSx for Lustre 无法防止在多个位置发生写入冲突。
对于标有不可变属性的文件,FSx for Lustre 无法在 FSx for Lustre 文件系统与文件系统的链接 S3 桶之间同步更改。长时间设置不可变标志可能会导致 Amazon FSx 和 S3 之间的数据移动性能降低。
在创建数据存储库关联时,您可以配置以下属性:
-
文件系统路径 – 输入文件系统上的本地路径,该路径指向将与下面指定的数据存储库路径一一映射的目录(例如
/ns1/)或子目录(例如/ns1/subdir/)。名称中的前导正斜杠必填。两个数据存储库关联不能具有重叠的文件系统路径。例如,如果数据存储库与文件系统路径/ns1相关联,则您无法将另一个数据存储库与文件系统路径/ns1/ns2相关联。注意
如果您仅指定正斜杠(
/)作为文件系统路径,则只能将一个数据存储库链接到文件系统。您只能将“/”指定为与文件系统相关联的第一个数据存储库的文件系统路径。 -
数据存储库路径 – 输入 S3 数据存储库中的路径。该路径可以是 S3 存储桶或格式
s3://的前缀。该路径指定 S3 数据存储库文件将从中导入或导出到的位置。FSx for Lustre 将在您的数据存储库路径后面附加一个尾部斜杠“/”。例如,如果您提供的数据存储库路径为bucket-name/prefix/s3://amzn-s3-demo-bucket/my-prefix,则 FSx for Lustre 会将其解释为s3://amzn-s3-demo-bucket/my-prefix/。两个数据存储库关联不能具有重叠的数据存储库路径。例如,如果采用路径
s3://amzn-s3-demo-bucket/my-prefix/的数据存储库与文件系统路径相关联,则您无法将另一个数据存储库与文件系统路径s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix相关联。 -
从存储库导入元数据 – 您可以选择此选项,在创建数据存储库关联后立即从整个数据存储库导入元数据。或者,您可以在创建数据存储库关联后随时运行导入数据存储库任务,将链接的数据存储库中的全部或部分元数据加载到文件系统。
-
导入设置 – 选择一个导入策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动从链接的 S3 桶导入文件系统。自动导入(新、已更改、已删除)在您从控制台添加数据存储库时默认启用,但在您使用 Amazon CLI 或 Amazon FSx API 时默认禁用。
-
导出设置 – 选择一个导出策略,用于指定更新对象的类型(新对象、已更改和已删除对象的任意组合),这些对象将自动导出到 S3 桶。自动导出(新、已更改、已删除)在您从控制台添加数据存储库时默认启用,但在您使用 Amazon CLI 或 Amazon FSx API 时默认禁用。
文件系统路径和数据存储库路径设置使 Amazon FSx 中的路径与 S3 中的对象键 1:1 映射。