什么是 Amazon FSx for Lustre? - 适用于Lustre的AmazonFSx
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

如果我们为英文版本指南提供翻译,那么如果存在任何冲突,将以英文版本指南为准。在提供翻译时使用机器翻译。

什么是 Amazon FSx for Lustre?

Amazon FSx for Lustre makesiteasyandcost-effectivetolaunchandrunthepopular,high-performanceLustrefilesystem. 您将Lustre用于速度至关重要的工作负载,如机器学习、高性能计算(HPC)、视频处理和财务建模。

开源Lustre文件系统专为需要快速存储的应用而设计—让您想要存储跟上计算速度的地方。Lustre旨在解决快速、便宜地处理全球日益增长的数据集的问题。它是广泛使用的文件系统,专为世界上速度最快的计算机而设计。它提供亚毫秒延迟,高达数百GBps的吞吐量和高达数百万IOPS。有关Lustre的更多信息,请参阅 Lustre网站.

作为全面管理的服务 Amazon FSx 使您更轻松地将Lustre用于存储速度重要的工作负载。 Amazon FSx for Lustre 消除了设置和管理Lustre文件系统的传统复杂性,让您能够在几分钟内启动并运行经过战力测试的高性能文件系统。它还提供多种部署选项,因此您可以根据需要优化成本。

Amazon FSx for Lustre 符合POSIX标准,因此您无需进行任何更改即可使用当前基于Linux的应用程序。 Amazon FSx for Lustre 提供本机文件系统界面,并可与Linux操作系统一起使用。它还提供读写一致性,并支持文件锁定。

多个存储选项

Amazon FSx for Lustre 提供多种SSD(固态硬盘)和HDD(硬盘)存储类型,可根据不同的数据处理要求进行优化。

  • SSD存储选项 — 对于低延迟、通常具有小型随机文件操作的IOPS密集型工作负载,请选择其中一个SSD存储选项。

  • HDD存储选项 — 对于通常具有大型连续文件操作的吞吐量密集型工作负载,请选择一个HDD存储选项。

如果您正在为文件系统配置HDD存储选项,您可能还想提供一个只读SSD缓存,该缓存自动调整为HDD存储容量的20%。这为经常访问的文件提供了亚毫秒延迟和更高的IOPS。基于SSD的文件系统和基于HDD的文件系统均配置有基于SSD的元数据服务器,因此代表大部分文件系统操作的所有元数据操作都以亚毫秒延迟交付。

有关这些存储选项性能的更多信息,请参阅 Amazon FSx for Lustre 性能.

Amazon FSx for Lustre 和数据存储库

Amazon FSx for Lustre 文件系统可链接至数据存储库,链接地址为 Amazon S3 或本地数据存储。

Amazon S3 集成

Amazon FSx for Lustre 与集成 Amazon S3,可让您使用Lustre高性能文件系统轻松处理云数据集。当链接到 Amazon S3 桶, Amazon FSx for Lustre 文件系统透明地将S3对象显示为文件。 Amazon FSx 在创建文件系统时,导入S3bucket中所有现有文件的列表。 Amazon FSx 还可以在创建文件系统后导入添加到数据存储库的文件列表。您可以设置导入首选项以匹配您的工作流程需求。文件系统还允许您将文件系统数据写回S3。数据存储库任务简化了数据和元数据在 Amazon FSx for Lustre 文件系统及其耐用数据存储库 Amazon S3. 有关更多信息,请参阅 使用数据存储库 Amazon FSx for Lustre数据存储库任务

本地数据存储库

有 Amazon FSx for Lustre,您可以将数据处理工作负载从本地突发到 AWS 云:通过导入数据 AWS Direct Connect 或 AWS VPN. 有关更多信息,请参阅使用 Amazon FSx 通过本地数据存储库

访问文件系统

有 Amazon FSx for Lustre,您可以混合和匹配连接到单个文件系统的实例类型和LinuxAmazon计算机映像(AMI)。

Amazon FSx for Lustre 可从运行于 Amazon Elastic Compute Cloud (人Amazon EC2)实例和容器运行于 Amazon Elastic Kubernetes Service (人Amazon EKS)。您可以从访问您的文件系统 Amazon EC2 使用开源Lustre客户端计算实例。在您的 Amazon FSx for Lustre 文件系统已挂载,您可以像使用本地文件系统一样处理其文件和目录。您访问 Amazon FSx for Lustre 从运行于 Amazon EKS 使用开源 LustreCSI驱动程序的FSx,如 Amazon EKS 用户指南. 您的容器运行于 Amazon EKS 可以使用高性能持久卷(PV) Amazon FSx for Lustre.

Amazon FSx for Lustre 与最受欢迎的基于Linux的AMI兼容,包括 Amazon Linux、RedHatEnterpriseLinux(RHEL)、CentOS、Ubuntu和SUSELinux。Lustre客户包含在 Amazon Linux 2 和 Amazon Linux. 对于RHEL、CentOS和Ubuntu,AWSLustre客户端存储库提供与这些操作系统兼容的客户端。

使用 Amazon FSx,您可以通过将数据导入 AWS Direct Connect 或VPN。您可以访问 Amazon FSx 文件系统,根据需要将数据复制到文件系统,并在云实例上运行计算密集型工作负载。

有关更多信息,请参阅访问文件系统

与集成 AWS 服务

Amazon FSx for Lustre 与集成 SageMaker 作为输入数据源。使用 SageMaker 配 Amazon FSx for Lustre,您的机器学习培训作业通过取消初始下载步骤 Amazon S3. 此外,通过避免重复下载相同数据集上迭代作业的通用对象,从而降低您的总拥有成本(TCO),因为S3需要节省成本。有关更多信息,请参阅 什么是 SageMaker?Amazon SageMaker 开发人员指南.

Amazon FSx for Lustre 与集成 AWS Batch 使用EC2启动模板。 AWS Batch 使您能够在AWS云上运行批处理计算工作负载,包括高性能计算(HPC)、机器学习(ML)和其他异步工作负载。 AWS Batch 根据作业资源要求自动和动态调整实例大小。有关更多信息,请参阅 什么是AWS批次?AWS Batch 用户指南.

Amazon FSx for Lustre 与集成 AWS ParallelCluster。 AWS ParallelCluster 是 AWS-支持的开源群集管理工具,用于部署和管理HPC群集。它可以自动创建 Amazon FSx for Lustre 文件系统,或在群集创建过程中使用现有文件系统。

安全和合规

Amazon FSx for Lustre 文件系统支持静态和传输加密。 Amazon FSx 使用管理的密钥自动加密静止的文件系统数据 AWS Key Management Service (人AWS KMS)。传输中的数据也在某些特定文件系统上自动加密 AWS 从支持的EC2实例访问时的分域。有关数据加密的更多信息 Amazon FSx for Lustre,包括支持对传输中的数据进行加密的AWS区域,请参阅 Amazon FSx for Lustre 中的数据加密。 Amazon FSx 已经过评估,符合ISO、PCI-DSS和SOC认证,符合HIPAA资格。有关更多信息,请参阅Amazon FSx for Lustre 中的安全性

Assumptions

在本指南中,我们作出以下假设:

  • 如果您使用 Amazon Elastic Compute Cloud (人Amazon EC2),我们假设您熟悉该服务。有关如何使用的更多信息 Amazon EC2,请参阅 AmazonEC2文档.

  • 我们假设您熟悉使用 Amazon Virtual Private Cloud (人Amazon VPC)。有关如何使用的更多信息 Amazon VPC,请参阅 Amazon VPC 用户指南.

  • 我们假设您尚未根据 Amazon VPC 服务。如果已经添加,请确保添加必要的规则,以允许来自您的 Amazon EC2 实例到您的 Amazon FSx for Lustre 文件系统。有关更多信息,请参阅文件系统访问控制 Amazon VPC

Amazon FSx for Lustre定价

有 Amazon FSx for Lustre,没有前期硬件或软件费用。您只支付所使用的资源,没有最低承诺、设置成本或额外费用。有关与服务相关的定价和费用的信息,请参阅 Amazon FSx for Lustre 定价.

Amazon FSx for Lustre 论坛

如果您在使用时遇到问题 Amazon FSx for Lustre,检查 论坛.

您是 Amazon FSx for Lustre 的新用户吗?

如果您是首次接触 Amazon FSx for Lustre 的用户,建议您按顺序阅读以下内容:

  1. 如果您已准备好创建第一个 Amazon FSx for Lustre 文件系统,请尝试 开始使用 Amazon FSx for Lustre.

  2. 有关性能的信息,请参阅 Amazon FSx for Lustre 性能

  3. 有关将文件系统链接到 Amazon S3 bucket数据存储库,请参阅 使用数据存储库 Amazon FSx for Lustre.

  4. 对于 Amazon FSx for Lustre 安全详细信息,请参阅 Amazon FSx for Lustre 中的安全性.

  5. 有关的可扩展性限制的信息 Amazon FSx for Lustre,包括吞吐量和文件系统大小,请参阅 Quotas.

  6. 有关 Amazon FSx for Lustre API,请参阅 Amazon FSx for Lustre API参考.