Amazon FSx for Lustre 是什么? - Amazon FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon FSx for Lustre 是什么?

Amazon FSx for Lustre,可以轻松且经济高效地启动和运行流行的高性能 Lustre 文件系统。您可以将 Lustre 用于速度重要的工作负载,如机器学习、高性能计算 (HPC)、视频处理和财务建模。

开源 Lustre 文件系统专为需要快速存储的应用程序而设计,您希望存储与计算保持同步。Lustre 旨在解决快速、廉价地处理世界不断增长的数据集的问题。它是一个广泛使用的文件系统,专为世界上速度最快的计算机而设计。它提供亚毫秒级延迟,高达数百 Gbps 的吞吐量,以及高达数百万 IOPS。有关 Lustre 的更多信息,请参阅Lustre 网站

作为一项完全托管的服务,Amazon FSX 可让您更轻松地将 Lustre 用于存储速度至关重要的工作负载。Amazon FSX for Lustre 消除了设置和管理 Lustre 文件系统的传统复杂性,使您能够在几分钟内启动和运行经过战斗考验的高性能文件系统。它还提供多种部署选项,因此您可以根据需求优化成本。

用于 Amazon FSx for Lustre 符合 POSIX 标准,因此您可以使用当前基于 Linux 的应用程序,而无需进行任何更改。Amazon FSx for Lustre 提供了一个本机文件系统界面,可以像任何文件系统一样使用您的 Linux 操作系统一样工作。它还提供了先写后读一致性,并支持文件锁定。

多个存储选项

Amazon FSx for Lustre 提供了一系列针对不同数据处理要求进行了优化的 SSD(固态硬盘)和硬盘(硬盘驱动器)存储类型的选择。

  • SSD 存储选项 — 对于通常具有小型随机文件操作的低延迟、IOPS 密集型工作负载,请选择 SSD 存储选项之一。

  • HDD 存储选项 — 对于通常具有大型顺序文件操作的吞吐量密集型工作负载,请选择 HDD 存储选项之一。

如果要使用 HDD 存储选项配置文件系统,则可能还需要考虑将只读 SSD 缓存自动调整为 HDD 存储容量的 20%。这为经常访问的文件提供了亚毫秒级的延迟和更高的 IOPS。基于 SSD 和基于 HDD 的文件系统都配备了基于 SSD 的元数据服务器,因此所有元数据操作(代表大多数文件系统操作)都会以亚毫秒级的延迟交付。

有关这些存储选项性能的更多信息,请参阅。Amazon FSx for Lustre 性能

Amazon FSx for Lustre 和数据存储库的 Amazon FSx

Amazon FSx for Lustre 文件系统可以链接到 Amazon S3 上的数据存储库或本地数据存储。

Amazon S3 集成

用 Amazon FSx for Lustre 与 Amazon S3 集成,使您可以轻松地使用 Lustre 高性能文件系统处理云数据集。当链接到 Amazon S3 存储桶时,Amazon FSx for Lustre 文件系统会透明地将 S3 对象显示为文件。Amazon FSX 在创建文件系统时导入 S3 存储桶中所有现有文件的列表。Amazon FSX 还可以导入文件系统创建后添加到数据存储库的文件列表。您可以设置导入首选项以满足您的工作流需求。文件系统还允许您将文件系统数据写回 S3。数据存储库任务可简化 Amazon FSX for Lustre 文件系统与 Amazon S3 上的持久数据存储库之间的数据和元数据传输。有关更多信息,请参阅 将数据存储库与 Amazon FSx for Lustre数据存储库

本地数据存储库

借助 Amazon FSX for Lustre,您可以将数据处理工作负载从本地扩展到 Amazon Web Services 云,方法是使用Amazon Direct Connect或者Amazon VPN。有关更多信息,请参阅 将 Amazon FSx 与您的本地数据存储库

访问文件系统

使用 Amazon FSx for Lustre,您可以混合匹配实例类型和连接到单个文件系统的 Linux 亚马逊计算机映像 (AMI)。

Amazon FSx for Lustre 使用 Amazon FSx for Lustre 服务 (Amazon Elastic Elastic Elastic Compute Cloud) 实例上运行的计算工作负载可访问。

  • 您可以使用开源 Lustre 客户端从 Amazon EC2 计算实例访问您的文件系统。Amazon EC2 实例可以从同一 Amazon Amazon Virtual Private Cloud (Amazon VPC) 中的其他可用区访问您的文件系统,前提是您的网络配置允许跨 VPC 内的子网访问。Amazon FSx for Lustre 文件系统挂载完成后,您就可以像使用本地文件系统一样,使用您文件系统中的文件和目录。

  • 您可以使用开源代码从亚马逊 EKS 上运行的容器访问亚马逊 FSX 版 Lustre适用于 Lustre CSI 驱动程序的 FSx,如中所述Amazon EKS 用户指南。您在 Amazon EKS 上运行的容器可以使用由 Amazon FSx for Lustre 提供支持的高性能持久卷 (PV)。

  • 您可以通过 Amazon Elastic Container Service (Amazon ECS) Docker 容器访问 Amazon FSx for Lustre 实例上的 Amazon EC2 FSx for Lustre 容器。有关更多信息,请参阅 从 Amazon Elastic Container Service

用 Amazon FSx for Lustre 与最受欢迎的基于 Linux 的 AMI 兼容,包括亚马逊 Linux、红帽企业 Linux (RHEL)、CentOS、Ubuntu 和 SUSE Linux。Amazon Linux 2 和 Amazon Linux Linux 中包含 Lustre 客户端。对于 RHEL、CentOS 和 Ubuntu,AmazonLustre 客户端存储库提供了与这些操作系统兼容的客户端。

使用 Amazon FSX,您可以将计算密集型工作负载从本地扩展到 Amazon Web Services 云 通过导入数据Amazon Direct Connect或 VPN。您可以从本地访问 Amazon FSX 文件系统,根据需要将数据复制到文件系统中,并在云中实例上运行计算密集型工作负载。

有关更多信息,请参阅 访问文件系统

与集成Amazon服务

Amazon FSx for Lustre 集成了 SageMaker 作为输入数据源。将 SageMaker 与 Amazon FSX 适用于 Lustre 的时候,您的机器学习培训工作可以通过从 Amazon S3 中删除初始下载步骤来加快。此外,通过避免在同一数据集上重复下载用于迭代作业的常用对象,从而降低了总拥有成本 (TCO),从而节省 S3 请求成本。有关更多信息,请参阅 。什么是 SageMaker?中的Amazon SageMaker 开发指南

Amazon FSx for Lustre 与集成Amazon Batch使用 EC2 启动模板。Amazon Batch允许您在 Amazon Web Services 云 ,包括高性能计算 (HPC)、机器学习 (ML) 和其他异步工作负载。Amazon Batch根据作业资源需求自动动调整实例大小。有关更多信息,请参阅 。什么是Amazon Batch?中的Amazon Batch用户指南

Amazon FSx for Lustre 与集成Amazon ParallelCluster。Amazon ParallelCluster是一个Amazon支持的开源群集管理工具,用于部署和管理 HPC 群集。它可以为 Lustre 文件系统自动创建 Amazon FSX,或在集群创建过程中使用现有文件系统。

安全性与合规性

适用于 Lustre 文件系统的 Amazon FSx 支持静态和传输中的加密。Amazon FSX 使用Amazon Key Management Service(Amazon KMS)。传输中的数据也会在某些文件系统上自动加密Amazon从受支持的 EC2 实例访问时的区域。有关亚马逊 FSX 用于 Lustre 的数据加密的更多信息,包括Amazon支持传输中数据加密的区域,请参阅。适用于 Lustre 的 Amazon FSx 中的数据加密。亚马逊 FSX 已经被评估符合 ISO、PCI-DSS 和 SOC 认证,并且符合 HIPAA 资格。有关更多信息,请参阅 Amazon FSx for Lustre

Assumptions

在本指南中,我们做出以下假设:

  • 如果您使用 Amazon Elastic Compute Cloud (Amazon EC2),我们假设您熟悉该服务。有关如何使用 Amazon EC2 的更多信息,请参阅Amazon EC2 文档

  • 我们假设您熟悉使用 Amazon Virtual Private Cloud (Amazon VPC)。有关如何使用 Amazon VPC 的更多信息,请参阅Amazon VPC 用户指南

  • 我们假定您没有更改基于 Amazon VPC 服务的 VPC 默认安全组上的规则。如果有,请确保添加必要的规则,以允许从 Amazon EC2 实例到 Amazon FSX for Lustre 文件系统的网络流量。有关更多信息,请参阅使用 Amazon VPC 进行文件系统访问控制

适用于 Amazon FSx for Lustre 定价

借助适用 Amazon FSx for Lustre,无需前期硬件或软件成本。您只需为使用的资源付费,无最低承付款、设置成本或附加费用。有关该服务关联的定价和费用的信息,请参阅。Amazon FSx for Lustre 定价

Amazon FSx for Lustre 论坛

如果您在使用适用 Amazon FSx for Lustre 时遇到问题,请查看论坛

您是 Lustre 的 Amazon FSx 用户吗?

如果您是适用于 Lustre 的 Amazon FSx 用户,建议您按顺序阅读以下内容:

  1. 如果您已准备好创建适用于 Lustre 文件系统的 Amazon FSx,请尝试使用Amazon FSx for Lustre 入门

  2. 有关性能的信息,请参阅 Amazon FSx for Lustre 性能

  3. 有关将文件系统链接到 Amazon S3 存储桶数据存储库的信息,请参阅将数据存储库与 Amazon FSx for Lustre

  4. 有关 Lustre 安全性详细信息,请参阅 Amazon FSx。Amazon FSx for Lustre

  5. 有关 Amazon FSX 适用于 Lustre 的可扩展性限制(包括吞吐量和文件系统大小)的信息,请参阅Quotas

  6. 有关适用于 Lustre API 的 Amazon FSx 的信息,请参阅Amazon FSx for Lustre API 参考