本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon FSx for Lustre
FsX for Lustre 使启动和运行广受欢迎的高性能 Lustre 文件系统变得轻松且经济实惠。您可以使用 Lustre。
开源 Lustre 文件系统专为需要快速存储的应用程序而设计,您希望存储空间与计算保持同步。Lustre 旨在解决快速、廉价地处理世界上不断增长的数据集的问题。它是一种广泛使用的文件系统,专为世界上最快的计算机而设计。它提供亚毫秒级延迟、高达数百 Gbps 的吞吐量和高达数百万的 IOPS。有关 Lustre 的更多信息,请访问 Lustre 网站
作为一项完全托管的服务,Amazon FSx 使您可以更轻松地将 Lustre 用于存储速度很重要的工作负载。FsX for Lustre 消除了设置和管理 Lustre 文件系统的传统复杂性,使您能够在几分钟内启动并运行经过实战考验的高性能文件系统。它还提供多种部署选项,因此您可以根据需要优化成本。
FsX for Lustre 符合 POSIX 标准,因此您无需进行任何更改即可使用当前基于 Linux 的应用程序。FSx for Lustre 提供原生文件系统接口,可像任何文件系统一样使用 Linux 操作系统。它还提供 read-after-write一致性并支持文件锁定。
主题
多种的的的的的选项
Amazon FSx for Lustre 提供固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类型可供选择,这些存储类型针对不同的数据处理要求进行了优化:
SSD 存储选项 — 对于低延迟、IOPS 密集型工作负载,这些工作负载通常具有小型随机文件操作,请选择其中一个 SSD 存储选项。
HDD 存储选项 — 对于吞吐量密集型工作负载,这些工作负载通常具有大型顺序文件操作,请选择其中一个 HDD 存储选项。
如果您使用 HDD 存储选项配置文件系统,则可以选择配置大小为 HDD 存储容量的 20% 的只读 SSD 缓存。这为经常访问的文件提供了亚毫秒级的延迟和更高的 IOPS。基于 SSD 和基于 HDD 的文件系统都配置了基于 SSD 的元数据服务器。因此,代表大多数文件系统操作的所有元数据操作的交付延迟均为亚毫秒。
有关这些存储选项的性能的更多信息,请参阅亚马逊 FSx 表现 Lustre 性能。
FSx for Lustre
您可以将 FsX for Lustre 文件系统链接到 Amazon S3 上的数据存储库或本地数据存储。
用于 Lustre S3 数据存储库集成的 FSx
FSx for Lustre 与 Amazon S3 集成,使您可以更轻松地使用 Lustre 高性能文件系统处理云数据集。链接到 Amazon S3 存储桶时,FSx for Lustre Amazon FSx 在创建文件系统时导入 S3 存储桶中所有现有文件的列表。Amazon FSx 还可以导入文件系统创建后添加到数据存储库的文件列表。您可以设置导入首选项以满足您的工作流程需求。文件系统还使您可以将文件系统数据写回 S3。数据存储库任务简化了 FSx for Lustre 文件系统与其 Amazon S3 上的持久数据存储库之间的数据和元数据传输。有关更多信息,请参阅 使用适用于 Lustre 的 Amazon FSx 的数据存储库 和 数据存储库任务。
适用于 Lustre 和本地数据存储库的 FSx
使用 Amazon FSx for Lustre,您可以使用Amazon Direct Connect或导入数据,将数据处理工作负载从本地拆分到Amazon VPN。Amazon Web Services 云有关更多信息,请参阅 将 Amazon FSx 与您的本地数据配合使用。
访问 FSx for Lustre
您可以混合搭配计算实例类型和连接到单个 FSx for Lustre 文件系统的 Linux 亚马逊机器映像 (AMI)。
Amazon FSx for Lustre
Amazon EC2 — 您可以使用开源 Lustre 客户端从 Amazon EC2 计算实例访问您的文件系统。Amazon EC2 实例可以从同一 Amazon Virtual Private Cloud mazon VPC 内的子网访问您的文件系统。装载 Amazon FSx for Lustre 文件系统后,您可以像使用本地文件系统一样使用其文件和目录。
亚马逊 EKS — 如亚马逊 EKS 用户指南中所述,您可以使用开源 FSx for Lustre CSI 驱动程序从在亚马逊 EKS 上运行的容器访问 Amazon FSx for Lust re。您在亚马逊 EKS 上运行的容器可以使用Amazon FSx for Lustre 支持的卷。
亚马逊 ECS — 您可以从Amazon EC2 实例上的 Amazon ECS Docker 容器访问 Amazon FSx for Lustre。有关更多信息,请参阅 从亚马逊弹性容器服务挂载。
Amazon FSx for Lustre 与最受欢迎的基于 Linux 的 AMI 兼容,包括亚马逊 Linux 2 和亚马逊 Linux、红帽企业 Linux (RHEL)、CentOS、Ubuntu 和 SUSE Linux。Amazon Linux 和 Amazon Linux 均包含 Lustre 客户端。对于 RHEL、CentOS 和 Ubuntu,AmazonLustre 客户端存储库提供与这些操作系统兼容的客户端。
使用 FsX for Lustre,您可以Amazon Web Services 云通过将数据导入Amazon Direct Connect或,将计算密集型工作负载从本地拆分到Amazon Virtual Private Network。您可以从本地访问您的 Amazon FSx 文件系统,根据需要将数据复制到文件系统中,并在云端实例上运行计算密集型工作负载。
有关可从中访问 FsX for Lustre 文件系统的客户端、计算实例和环境的更多信息,请参阅访问文件系统。
与Amazon服务集成
Amazon FSx for Lustre SageMaker 作为输入数据源与亚马逊集成。 SageMaker 与 FsX for Lustre 一起使用时,通过取消从 Amazon S3 中初始下载步骤,可以加快机器学习训练作业的速度。此外,通过避免在同一数据集上重复下载用于迭代任务的通用对象,从而降低了总拥有成本 (TCO),从而节省了 S3 请求成本。有关更多信息,请参阅什么是 SageMaker? 在《亚马逊 SageMaker 开发者指南》中。有关如何使用 Amazon FSx for Lustre 作为数据源的演练,请参阅M Amazonachine Learning 博客上的 Amazon SageMaker FSx for Lustre 和 Amazon EFS 文件系统加快在亚马逊上训练的速度
FSx for Lustre 可与Amazon Batch使用 EC2 启动模板集成。 Amazon Batch使您能够在上运行批量计算工作负载Amazon Web Services 云,包括高性能计算 (HPC)、机器学习 (ML) 和其他异步工作负载。 Amazon Batch根据任务资源要求自动动态调整实例大小。有关更多信息,请参阅什么是Amazon Batch? 在《Amazon Batch用户指南》中。
FSx for Lustre 集成Amazon ParallelCluster了。 Amazon ParallelCluster是一个Amazon支持的开源集群管理工具,用于部署和管理 HPC 集群。它可以自动为 Lustre 文件系统创建 FSx,或者在集群创建过程中使用现有文件系统。
安全性与合规性
FSx for Lustre 文件系统支持静态和传输中的加密。Amazon FSx 使用在Amazon Key Management Service (Amazon KMS) 中管理的密钥自动加密静态文件系统数据。从支持的 Amazon EC2 实例访问时,传输中的数据还会在某些Amazon地区的文件系统上自动加密。有关 FsX for Lustre 中的数据加密(包括支持传输中数据加密的Amazon区域)的更多信息,请参阅适用于 Lustre 的亚马逊 FSx 中的数据加密。亚马逊 FSx 已经过评估,符合 ISO、PCI-DSS 和 SOC 认证,并且符合 HIPAA 资格。有关更多信息,请参阅 FSx for Lustre 的安全性。
假设
在本指南中,我们做出以下假设:
-
如果您使用 Amazon Elastic Compute Cloud (Amazon EC2),我们假定您熟悉该服务。有关如何使用 Amazon EC2 的更多信息,请参阅 Amazon EC2 文档。
-
我们假设您熟悉使用 Amazon Virtual Private Cloud (Amazon VPC)。有关如何使用 Amazon VPC 的更多信息,请参阅 Amazon VPC 用户指南。
-
我们假设您没有更改基于 Amazon VPC 服务的 VPC 的默认安全组规则。如果有,请确保添加必要的规则,以允许从您的 Amazon EC2 实例到您的 Amazon FSx for Lustre 文件系统的网络流量。有关更多信息,请参阅 使用亚马逊 VPC 进行文件系统访问控制。
Amazon FSx for Lustre
使用 Amazon FSx for Lustre,无需预先支付硬件或软件成本。您只需为使用的资源付费,没有最低承诺额、设置成本或额外费用。有关与该服务相关的定价和费用的信息,请参阅 Amazon FSx for Lustre 定价
Amazon FSx for Lustre
如果你在使用 Amazon FSx for Lustre 时遇到问题,请查看论坛
您是新用户Amazon FSx for Lustre
如果您是首次接触 Amazon FSx for Lustre
-
如果你准备好创建第一个 Amazon FSx for Lustre 文件系统,请尝试一下开始使用适用于 Lustre 的亚马逊 FSx。
-
有关性能的信息,请参阅 亚马逊 FSx 表现 Lustre 性能。
-
有关将文件系统链接到 Amazon S3 存储桶数据存储库的信息,请参阅使用适用于 Lustre 的 Amazon FSx 的数据存储库。
-
有关Amazon FSx for Lustre 安全详情,请参阅FSx for Lustre 的安全性。
-
有关 Amazon FSx for Lustre 的可扩展性限制(包括吞吐量和文件系统大小)的信息,请参阅配额。
-
有关Amazon FSx for Lustre API 的信息,请参阅 Amazon FSx for Lustre API 参考。