数据存储库概述 - Amazon FSx for Lustre
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

数据存储库概述

当您将 Amazon FSX 与持久存储库结合使用时,您可以在高性能文件系统中引入和处理大量文件数据。同时,您可以定期将中间结果写入数据存储库。通过使用此方法,您可以随时使用数据存储库中存储的最新数据重新启动工作负载。完成工作负载后,您可以将文件系统的最终结果写入数据存储库并删除文件系统。

您可以在创建文件系统时将 Amazon FSX 文件系统链接到 Amazon S3 数据存储库。有关更多信息,请参阅 将您的文件系统链接到 S3 存储桶

Amazon FSx 与 Amazon S3 密切集成。此集成意味着您可以从挂载 Amazon FSX 文件系统的应用程序无缝访问存储在 Amazon S3 存储桶中的数据元。您还可以在 Amazon Web Services 云中的 Amazon EC2 实例上运行计算密集型工作负载,并在工作负载完成后将结果导出到数据存储库中。

在 Amazon FSx for Lustre 中,您可以随时将您在文件系统中写入或修改的文件及其相关元数据导出到 Amazon S3 上的持久数据存储库。导出文件或目录时,文件系统仅导出自上次导出或文件系统创建后创建或修改的数据文件和元数据。此类导出包括 POSIX 元数据。

Amazon FSX 还支持使用本地文件系统的云突发工作负载,使您能够使用Amazon Direct Connect或 VPN。

重要

如果您已将一个或多个 Amazon FSX 文件系统链接到 Amazon S3 上的持久数据存储库,请在删除所有链接的文件系统之前,不要删除 Amazon S3 存储桶。

对数据存储库的 POSIX 元数据支持

在向 Amazon S3 上的链接持久数据存储库导入和导出数据时,Amazon FSX to Lustre 会自动传输文件、目录和符号链接(符号链接)的可移植操作系统接口 (POSIX) 元数据。当您将文件系统中的更改导出到其链接的数据存储库时,Amazon FSX 还会导出 POSIX 元数据更改以及数据更改。由于此元数据导出,您可以在 Amazon FSX to Lustre 文件系统及其 S3 上的数据存储库之间实施和维护访问控制。

Amazon FSX 仅导入具有 POSIX 兼容对象密钥的 S3 对象,如下所示。

test/mydir/ test/

Amazon FSX 将目录和符号链接作为单独的对象存储在 S3 上的链接数据存储库中。对于目录,Amazon FSX 会创建一个带有以斜杠 (“/”) 结尾的键名称的 S3 对象,如下所示:

  • S3 对象键 =test/mydir/映射到亚马逊 FSX 目录test/mydir

  • S3 对象键 =test/映射到亚马逊 FSX 目录test

对于符号链接,用于 Lustre 的 Amazon S3 FSX 使用与Amazon DataSync,如下所示:

  • S3 对象密钥 — 链接的路径,相对于 Amazon FSX 装载目录

  • S3 对象数据 — 此符号链接的目标路径

  • S3 对象元数据 — 符号链接的元数据

Amazon FSX 在 S3 对象中存储 POSIX 元数据,包括 Amazon FSX 文件、目录和符号链接的所有权、权限和时间戳,如下所示:

  • Content-Type— 用于指示 Web 浏览器资源的媒体类型的 HTTP 实体标头。

  • x-amz-meta-file-permissions— 格式的文件类型和权限<octal file type><octal permission mask>,符合st_mode在 Linux 统计数据中(2)。

    注意

    Amazon FSx for Lustre 不导入或保留setuidsetgid信息。

  • x-amz-meta-file-owner— 所有者 UID 表示为整数。

  • x-amz-meta-file-group— 表示为整数的组 UID。

  • x-amz-meta-file-atime— 上次访问时间(以纳秒为单位)。使用 “ns” 终止时间值;否则 Amazon FSX 会将该值解释为毫秒。

  • x-amz-meta-file-mtime— 上次修改时间(以纳秒为单位)。使用 “ns” 终止时间值;否则,Amazon FSX 会将该值解释为毫秒。

  • x-amz-meta-user-agent— 亚马逊 FSX 导入期间忽略的用户代理。在导出过程中,亚马逊 FSX 会将此值设置为aws-fsx-lustre

Amazon FSX 用于 Lustre 分配给文件的默认 POSIX 权限为 755,允许所有用户的读取和执行访问权限以及文件所有者的写入访问权限。

注意

Amazon FSX 不会在 S3 对象上保留任何用户定义的自定义元数据。

数据存储库生命周期

数据存储库生命周期状态提供有关文件系统链接数据存储库的状态信息。数据存储库可具有以下生命周期状态

  • 创建— Amazon FSX 正在创建文件系统和链接数据存储库之间的数据存储库配置。数据存储库不可用。

  • Available— 数据存储库可供使用。

  • 正在更新— 数据存储库配置正在进行客户启动的更新,这可能会影响其可用性。

  • 错误配置— 在更正数据存储库配置之前,Amazon FSX 无法自动从 S3 存储桶导入更新。有关更多信息,请参阅 故障配置错误的链接 S3 存储桶

您可以使用 Amazon FSX 控制台(Amazon命令行界面和亚马逊 FSX API。在 Amazon FSX 控制台中,您可以访问生命周期状态上的摘要面板中的文件系统详细信息页面。这些区域有:Lifecycle属性位于DataRepositoryConfiguration对象中的响应describe-file-systemCLI 命令(等效的 API 操作是DescribeFileSystems)。