数据存储库概览 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

数据存储库概览

当您将 Amazon FSx 与多个持久存储库结合使用时,您可以通过使用自动导入和导入数据存储库任务在高性能文件系统中提取和处理大量文件数据。同时,您可以使用自动导出或导出数据存储库任务将结果写入数据存储库。借助这些功能,您可以使用存储在数据存储库中的最新数据随时重新启动工作负载。

注意

仅支持自动导出和多个数据存储库Persistent 2文件系统。如果您使用的是具有较旧 FSx 的文件系统用于 Lustre 部署类型,请参阅使用较旧的部署类型.

Amazon FSx 已深入集成到 Amazon S3。此集成意味着您可以从挂载 Amazon FSx 文件系统的应用程序无缝访问 Amazon S3 存储桶中存储的对象。您还可 Amazon EC2 在Amazon Web Services 云并在工作负载完成后将结果导出到数据存储库。

在 Amazon FSx for Lustre 中,您可以使用自动导入或使用导入数据存储库任务将文件和目录列表从链接的数据存储库导入到文件系统。在数据存储库关联上启用自动导入时,文件系统会在 S3 数据存储库中创建、修改和/或删除文件时导入文件元数据。或者,您可以使用导入数据存储库任务为新的或更改的文件和目录导入元数据。自动导入和导入数据存储库任务都包括 POSIX 元数据。

注意

可以在文件系统上同时使用自动导入和导入数据存储库任务。

要将 Amazon S3 数据存储库上的对象作为文件系统上的文件和目录访问,必须将文件和目录元数据加载到文件系统中。您可以在创建数据存储库关联时从链接的数据存储库加载元数据,也可以在以后使用导入数据存储库任务使用 FSx for Lustre 文件系统加载要访问的批次文件和目录的元数据。

您还可以使用自动导出或使用导出数据存储库任务将文件系统中的文件及其关联元数据导出到持久数据存储库。在数据存储库关联上启用自动导出时,文件系统会在创建、修改或删除文件数据和元数据时导出它们。或者,您可以使用导出数据存储库任务导出文件或目录。使用导出数据存储库任务时,将导出自上次此类任务以来创建或修改的文件数据和元数据。自动导出和导出数据存储库任务都包括 POSIX 元数据。

注意

不能在文件系统上同时使用自动导出和导出数据存储库任务。

Amazon FSx 还支持使用本地文件系统实现云突发工作负载,方法是使用以下方式从本地客户端复制数据:Amazon Direct Connect或 VPN。

重要

如果您已将一个或多个 Amazon FSx 文件系统链接到 Amazon S3 上的持久数据存储库,请在删除所有链接文件系统之前删除 Amazon S3 存储桶。

数据存储库的 POSIX 元数据支持

Amazon FSx for Lustre 在 Amazon S3 上的链接持久数据存储库导入和导出数据时,自动传输文件、目录和符号链接(符号链接)的便携式操作系统接口 (POSIX) 元数据。当您将文件系统中的更改导出到链接的数据存储库时,Amazon FSX 还会导出 POSIX 元数据更改以及数据更改。由于这种元数据导出,您可以在 FSx for Lustre 文件系统与 S3 上的数据存储库之间实施和维护访问控制。

Amazon FSx 仅导入具有 POSIX 兼容对象密钥的 S3 对象,例如以下内容。

test/mydir/ test/

Amazon FSx 将目录和符号链接作为单独的对象存储在 S3 上的链接数据存储库中。对于目录,Amazon FSx 创建一个带有以斜杠 (“/”) 结尾的密钥名称的 S3 对象,如下所示:

  • S3 对象键test/mydir/映射到亚马逊 FSx 目录test/mydir.

  • S3 对象键test/映射到亚马逊 FSx 目录test.

对于符号链接,FSx for Lustre 使用以下 Amazon S3 架构进行符号链接:

  • S3 对象键— 链接的路径,相对于 Amazon FSx 挂载目录

  • S3 对象数据— 此符号链接的目标路径

  • S3 对象元数据— 符号链接的元数据

Amazon FSx 将 POSIX 元数据存储在 S3 对象中,包括 Amazon FSx 文件、目录和符号链接的所有权、权限和时间戳,如下所示:

  • Content-Type— 用于指示 Web 浏览器资源的媒体类型的 HTTP 实体标头。

  • x-amz-meta-file-permissions— 格式的文件类型和权限<octal file type><octal permission mask>,与st_mode中的Linux 统计 (2) 手册页.

    注意

    Lustre FSx for Lustre 不会导入或保留setuid信息。

  • x-amz-meta-file-owner— 表示为整数的拥有者用户 ID (UID)。

  • x-amz-meta-file-group— 表示为整数的组 ID (GID)。

  • x-amz-meta-file-atime— 最后访问的时间(以纳秒为单位)。使用终止时间值ns;否则,Amazon FSx 会将该值解释为毫秒。

  • x-amz-meta-file-mtime— 上次修改的时间(以纳秒为单位)。使用终止时间值ns;否则,Amazon FSx 会将该值解释为毫秒。

  • x-amz-meta-user-agent— 用户代理,在亚马逊 FSx 导入过程中被忽略。在导出过程中,亚马逊 FSx 将此值设置为aws-fsx-lustre.

FSx for Lustre 分配给文件的默认 POSIX 权限为 755。此权限允许所有用户拥有读取和执行访问权限以及文件所有者的写访问权限。

注意

Amazon FSx 不会在 S3 对象上保留任何用户定义的自定义元数据。