数据储存库概述 - 适用于Lustre的AmazonFSx
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

数据储存库概述

当您使用 Amazon FSx 借助耐用的存储存储库,您可以在高性能文件系统中摄取和处理大量文件数据。同时,您可以定期将中间结果写入您的数据存储库。使用此方法,您可以随时使用存储在数据存储库中的最新数据重新启动工作负载。工作负载完成时,您可以从文件系统将最终结果写入数据存储库,并删除文件系统。

您可以将您的 Amazon FSx 文件系统到 Amazon S3 创建文件系统时的数据存储库。有关更多信息,请参阅将文件系统链接到S3bucket

Amazon FSx 与 Amazon S3. 这种集成意味着您可以无缝访问存储在您的 Amazon S3 装载您 Amazon FSx 文件系统。您还可以在上运行计算密集型工作负载 Amazon EC2 中的实例 AWS 工作负载完成后,将云和结果导出到您的数据存储库。

英寸 Amazon FSx for Lustre时,您可以将文件系统中写入或修改的文件及其相关元数据导出到您的 durable data repository on Amazon S3 任何时间。当您导出文件或目录时,您的文件系统仅导出自上次导出或文件系统创建以来创建或修改的数据文件和元数据。此类导出包括POSIX元数据。

Amazon FSx 还支持云突发工作负载和本地文件系统,使您能够使用 AWS Direct Connect 或VPN。

重要

如果您链接了一个或多个 Amazon FSx 文件系统到 durable data repository on Amazon S3,不要删除 Amazon S3 直到您删除所有链接的文件系统。

POSIX元数据对数据存储库的支持

Amazon FSx for Lustre 在将数据导入和导出至链接的 durable data repository on Amazon S3. 当您将文件系统中的更改导出到其链接的数据存储库时, Amazon FSx 还导出POSIX元数据更改以及数据更改。由于此元数据导出,您可以在您的 Amazon FSx for Lustre 文件系统及其 data repository on S3.

Amazon FSx 只导入具有符合POSIX的对象密钥的S3对象,例如以下。

test/mydir/ test/

Amazon FSx 将目录和符号链接作为单独的对象存储在链接的 data repository on S3. 对于目录, Amazon FSx 创建一个带有键名称的S3对象,该键名称以斜杠(“/”)结尾,如下所示:

  • S3对象键= test/mydir/ 映射至 Amazon FSx 目录 test/mydir.

  • S3对象键= test/ 映射至 Amazon FSx 目录 test.

对于对称链接, Amazon FSx for Lustre 使用相同的 Amazon S3 框架为 AWS DataSync,如下所示:

  • S3对象键 – 链接的路径,相对于 Amazon FSx 挂载目录

  • S3对象数据 – 此符号链接的目标路径

  • S3对象元数据 – 符号链接的元数据

Amazon FSx 存储POSIX元数据,包括所有权、权限和时间戳 Amazon FSx S3对象中的文件、目录和符号链接,如下所示:

  • Content-Type – HTTP实体标题用于指示Web浏览器资源的媒体类型。

  • x-amz-meta-file-permissions – 格式的文件类型和权限 <octal file type><octal permission mask>,符合 st_mode 在Linuxstat(2)中。

    注意

    Amazon FSx for Lustre 不导入或保留 setuidsetgid 信息。

  • x-amz-meta-file-owner – 所有者UID表示为整数。

  • x-amz-meta-file-group – 以整数表示的组UID。

  • x-amz-meta-file-atime – 上次访问时间(纳秒)。用“ns”终止时间值;否则 Amazon FSx 将该值解释为毫秒。

  • x-amz-meta-file-mtime – 上次修改时间(纳秒)。用“ns”终止时间值;否则, Amazon FSx 将该值解释为毫秒。

  • x-amz-meta-user-agent – 用户代理,在 Amazon FSx 导入。在出口时, Amazon FSx 将此值设置为 aws-fsx-lustre.

注意

Amazon FSx 不会在S3对象上保留任何用户定义的自定义元数据。

数据存储库生命周期状态

数据存储库生命周期状态提供有关文件系统的链接数据存储库的状态信息。数据存储库可以具有以下 生命周期状态:

  • 正在创建 – Amazon FSx 正在创建文件系统与链接的数据存储库之间的数据存储库配置。数据存储库不可用。

  • 可用 – 数据存储库可用于。

  • 正在更新 – 数据存储库配置正在进行客户发起的更新,可能影响其可用性。

  • 配置错误 – Amazon FSx 在更正数据存储库配置之前,无法从S3bucket自动导入更新。有关更多信息,请参阅对错误配置的链接S3bucket进行故障排除

您可以使用 Amazon FSx 控制台, AWS CLI和AWSAPI。在 Amazon FSx 控制台,您可以访问 生命周期状态总结 文件系统详细信息页面的面板。的 Lifecycle 酒店位于 DataRepositoryConfiguration 对象 describe-file-system CLI命令(等效API操作是 DescribeFileSystems)。