数据存储库概览 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

数据存储库概览

当您使用带有多个持久存储库的 Amazon FSx 时,您可以使用自动导入和导入数据存储库任务,在高性能文件系统中摄取和处理大量文件数据。同时,您可以使用自动导出或导出数据存储库任务将结果写入数据存储库。借助这些功能,您可以随时使用存储在数据存储库中的最新数据重启工作负载。

注意

仅在Persistent 2文件系统上支持自动导出和多个数据存储库。如果您使用的是具有较旧 FSx for Lustre 部署类型的文件系统,请参阅使用较旧的部署类型

Amazon FSx 与Amazon S3 深度集成。这种集成意味着您可以从安装您的 Amazon FSx 文件系统的应用程序无缝访问存储在 Amazon S3 存储桶中的对象。您还可以在中的 Amazon EC2 实例上运行计算密集型工作负载,Amazon Web Services 云并在工作负载完成后将结果导出到您的数据存储库。

在 Amazon FSx for Lustre 中,您可以使用自动导入或使用导入数据存储库任务将文件和目录列表从链接的数据存储库导入到文件系统。当您启用数据存储库关联的自动导入功能时,您的文件系统会在 S3 数据存储库中创建、修改和/或删除文件时导入文件元数据。或者,您可以使用导入数据存储库任务为新的或更改的文件和目录导入元数据。自动导入和导入数据存储库任务都包含 POSIX 元数据。

注意

可以在文件系统上同时使用自动导入和导入数据存储库任务。

要将 Amazon S3 数据存储库中的对象作为文件系统上的文件和目录进行访问,必须将文件和目录元数据加载到文件系统中。在创建数据存储库关联时,可以从链接的数据存储库加载元数据,或者稍后使用 FSx for Lustre 文件系统为要访问的批量文件和目录加载元数据,然后使用导入数据存储库任务。

您还可以使用自动导出或使用导出数据存储库任务将文件系统中的文件及其关联元数据导出到持久数据存储库。当您启用数据存储库关联的自动导出功能时,您的文件系统会在创建、修改或删除文件数据和元数据时将其导出。或者,您可以使用导出数据存储库任务导出文件或目录。当您使用导出数据存储库任务时,会导出自上次此类任务以来创建或修改的文件数据和元数据。自动导出和导出数据存储库任务都包含 POSIX 元数据。

注意

自动导出和导出数据存储库任务不能在文件系统上同时使用。

Amazon FSx 还允许您使用Amazon Direct Connect或 VPN 从本地客户端复制数据,从而支持使用本地文件系统的云突发工作负载。

重要

如果您已将一个或多个 Amazon FSx 文件系统链接到 Amazon S3 上的持久数据存储库,则在删除所有链接的文件系统之前,不要删除 Amazon S3 存储桶。

数据存储库的 POSIX 元数据支持

Amazon FSx for Lustre 在向 Amazon S3 上链接的持久数据存储库导入和导出数据时,会自动传输文件、目录和符号链接(符号链接)的可移植操作系统接口 (POSIX) 元数据。当您将文件系统中的更改导出到其关联的数据存储库时,Amazon FSx 还会导出 POSIX 元数据更改以及数据更改。由于此元数据导出,您可以在 FSx for Lustre 文件系统与其 S3 上的数据存储库之间实现和维护访问控制。

Amazon FSx 仅导入具有符合 POSIX 的对象密钥的 S3 对象,例如以下对象。

test/mydir/ test/

Amazon FSx 将目录和符号链接作为单独的对象存储在 S3 上的链接数据存储库中。对于目录,Amazon FSx 创建一个 S3 对象,其密钥名称以斜杠 (“/”) 结尾,如下所示:

  • S3 对象密钥test/mydir/映射到 Amazon FSx 目录test/mydir

  • S3 对象密钥test/映射到 Amazon FSx 目录test

对于符号链接,FSx for Lustre 使用以下 Amazon S3 架构作为符号链接:

  • S3 对象密钥 — 链接路径,相对于 Amazon FSx 挂载目录

  • S3 对象数据-此符号链接的目标路径

  • S3 对象元数据-符号链接的元数据

Amazon FSx 在 S3 对象中存储 POSIX 元数据,包括 Amazon FSx 文件、目录和符号链接的所有权、权限和时间戳,如下所示:

  • Content-Type— 用于指示 Web 浏览器资源的媒体类型的 HTTP 实体标头。

  • x-amz-meta-file-permissions— 格式<octal file type><octal permission mask>的文件类型和权限,与 Linux stat (2) 手册页st_mode中的一致。

    注意

    FsX for Lustre 不导入或保留setuid信息。

  • x-amz-meta-file-owner— 以整数表示的所有者用户 ID (UID)。

  • x-amz-meta-file-group— 以整数表示的组 ID (GID)。

  • x-amz-meta-file-atime— 上次访问时间(以纳秒为单位)。使用终止时间值ns;否则 Amazon FSx 会将该值解释为毫秒。

  • x-amz-meta-file-mtime— 上次修改时间(以纳秒为单位)。使用终止时间值ns;否则,Amazon FSx 会将该值解释为毫秒。

  • x-amz-meta-user-agent— 用户代理,在 Amazon FSx 导入期间被忽略。在导出期间,Amazon FSx 将此值设置为aws-fsx-lustre

FsX for Lustre 分配给文件的默认 POSIX 权限为 755。此权限允许所有用户具有读取和执行权限,并允许文件所有者拥有写入权限。

注意

Amazon FSx 不在 S3 对象上保留任何用户定义的自定义元数据。

如果在文件系统的 DRA 上启用了自动导出(使用 “新建” 和 “已更改” 策略),则 DRA 中包含的每个硬链接将作为每个硬链接的单独的 S3 对象导出到 Amazon S3。如果在文件系统上修改了具有多个硬链接的文件,则无论更改文件时使用了哪个硬链接,S3 中的所有副本都会更新。

如果使用数据存储库任务 (DRT) 将硬链接导出到 S3,则为 DRT 指定的路径中包含的每个硬链接将作为每个硬链接的单独的 S3 对象导出到 S3。如果在文件系统上修改了具有多个硬链接的文件,则无论更改文件时使用了哪个硬链接,S3 中的每个副本都会在导出相应的硬链接时更新。

重要

当新的 FSx for Lustre 文件系统链接到一个 S3 存储桶时,硬链接先前由另一个 FsX for Lustre 文件系统或 Amazon FsX File Gateway 导出到该存储桶,硬链接随后会作为单独的文件导入到新文件系统上。Amazon DataSync

已发布文件是指其元数据存在于文件系统中但其内容仅存储在 S3 中的文件。有关已发布文件的更多信息,请参阅从文件系统中释放数据

重要

在具有数据存储库关联 (DRA) 的文件系统中使用硬链接受到以下限制:

  • 删除并重新创建具有多个硬链接的已发布文件可能会导致所有硬链接的内容被覆盖。

  • 删除已发布的文件将从位于数据存储库关联之外的所有硬链接中删除内容。

  • 创建指向已发布文件的硬链接不会在 S3 Glacier Flexible Retrieval 或 S3 Glacier Deep Archive 存储类中创建新对象。