Amazon FSx for Lustre? - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon FSx for Lustre?

FSx for Lustre 使启动和运行流行的高性能 Lustre 文件系统变得轻松且经济高效。您可以将 Lustre 用于速度重要的工作负载,如机器学习、高性能计算 (HPC)、视频处理和财务建模。

开源 Lustre 文件系统专为需要快速存储的应用程序而设计 — 您希望存储与计算保持同步的地方。Lustre 旨在解决快速、廉价地处理世界上不断增长的数据集的问题。这是一个广泛使用的文件系统,专为世界上速度最快的计算机而设计。它提供亚毫秒级的延迟、高达数百 GBP 的吞吐量以及高达数百万 IOPS。有关 Lustre 的更多信息,请参阅Lustre 网站.

作为一项完全托管的服务,Amazon FSx 可让您更轻松地将 Lustre 用于存储速度至关重要的工作负载。FSx for Lustre 消除了设置和管理 Lustre 文件系统的传统复杂性,使您能够在几分钟内启动和运行经过战斗测试的高性能文件系统。它还提供了多种部署选项,因此您可以根据需求优化成本。

FSx for Lustre 符合 POSIX 标准,因此您可以使用当前基于 Linux 的应用程序,而无需进行任何更改。FSx for Lustre 提供了本机文件系统界面,可以像任何文件系统在 Linux 操作系统中一样工作。它还提供先写后读一致性,并支持文件锁定。

多个存储选项

Amazon FSx for Lustre 提供了针对不同数据处理要求进行了优化的固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类型的选择:

  • SSD 存储选项 — 对于通常具有小型随机文件操作的低延迟、IOPS 密集型工作负载,请选择其中一种 SSD 存储选项。

  • HDD 存储选项 — 对于通常具有大型连续文件操作的吞吐量密集型工作负载,请选择其中一种硬盘存储选项。

如果您使用 HDD 存储选项配置文件系统,则可以选择配置大小为 HDD 存储容量 20% 的只读 SSD 缓存。这为经常访问的文件提供了亚毫秒级的延迟和更高的 IOPS。基于 SSD 和基于 HDD 的文件系统都配备了基于 SSD 的元数据服务器。因此,代表大多数文件系统操作的所有元数据操作都以亚毫秒级的延迟交付。

有关这些存储选项性能的更多信息,请参阅Amazon FSx for Lustre 性能.

FSx for Lustre 和数据存储库

您可以将用于 Lustre 文件系统的 FSx 链接到 Amazon S3 上的数据存储库或本地数据存储。

用于 Lustre S3 数据存储库集成的 FSx

fSx for Lustre 与 Amazon S3 集成,使您可以更轻松地使用 Lustre 高性能文件系统处理云数据集。链接到 Amazon S3 存储桶时,用于 Lustre 文件系统的 FSx 透明地将 S3 对象显示为文件。Amazon FSx 会在创建文件系统时导入 S3 存储桶中所有现有文件的列表。Amazon FSx 还可以在创建文件系统后导入添加到数据存储库的文件列表。您可以设置导入首选项以满足您的工作流需求。文件系统还使您可以将文件系统数据写回 S3。数据存储库任务可简化 FSx for Lustre 文件系统与 Amazon S3 上持久数据存储库之间的数据和元数据传输。有关更多信息,请参阅 将数据存储库与 Amazon FSx for Lustre数据存储库任务

FSx for Lustre 和本地数据存储库

借助 Amazon FSx for Lustre,您可以将数据处理工作负载从本地突增到Amazon Web Services 云通过使用导入数据Amazon Direct Connect要么Amazon VPN. 有关更多信息,请参阅 将 Amazon FSx for 您的本地数据存储库配合使用

访问 FSx for Lustre 文件系统

您可以混合搭配连接到单个 FSx for Lustre 文件系统的计算实例类型和 Linux Amazon 系统映像 (AMI)。

可从 Amazon Elastic Compute Cloud (Amazon EC2) 实例上运行的计算工作负载、Amazon Elastic Container Service (Amazon ECS) Docker 容器和 Amazon Elastic Kubernetes Service (Amazon EKS) 上运行的 Amazon FSx for Lustre 文件系统。

  • Amazon EC2— 您可以使用开源 Lustre 客户端从 Amazon EC2 计算实例访问文件系统。如果您的联网配置允许访问 VPC 内的子网,Amazon EC2 实例可以从同一 Amazon Virtual Private Cloud (Amazon VPC) 内的其他可用区访问您的文件系统。挂载 Amazon FSx for Lustre 文件系统后,您可以像使用本地文件系统一样,使用本地文件系统中的文件和目录。

  • Amazon EKS— 您可以使用开源从亚马逊 EKS 上运行的容器访问亚马逊 FSx for LustreFSx for Lustre CSI 驱动程序,如中所述Amazon EKS 用户指南. 您在 Amazon EKS 上运行的容器可以使用 Amazon FSx 为 Lustre 提供支持的卷。

  • Amazon ECS— 您可以从 Amazon EC2 实例上的 Amazon ECS Docker 容器访问 Amazon FSx for Lustre。有关更多信息,请参阅 从 Amazon Elastic Container Service 挂载

Amazon FSx for Lustre 与最受欢迎的基于 Linux 的 AMI 兼容,包括亚马逊 Linux 2 和亚马逊 Linux、红帽企业 Linux (RHEL)、CentOS、Ubuntu 和 SUSE Linux。Amazon Linux 2 和 Amazon Linux 中包含 Lustre 客户端。对于 RHEL、CentOS 和 Ubuntu,AmazonLustre 客户端存储库提供了与这些操作系统兼容的客户端。

使用 FSx for Lustre,您可以将计算密集型工作负载从本地突增到Amazon Web Services 云通过导入数据Amazon Direct Connect要么Amazon Virtual Private Network. 您可以从本地访问 Amazon FSx 文件系统,根据需要将数据复制到文件系统,并在云中实例上运行计算密集型工作负载。

有关客户端、计算实例和可以从中访问 Lustre 文件系统的 FSx 的环境的更多信息,请参阅访问文件系统.

与集成Amazon服务

Amazon FSx for Lustre 集成 SageMaker 作为输入数据源。使用时 SageMaker 使用 FSx for Lustre,通过消除 Amazon S3 的初始下载步骤,您的机器学习培训作业可以加快速度。此外,通过避免在同一数据集上重复下载迭代作业的常见对象,从而降低了总拥有成本 (TCO),从而节省了 S3 请求成本。有关更多信息,请参阅 。什么是 SageMaker?中的亚马逊 SageMaker 开发人员指南.

FSx for Lustre 集成了Amazon Batch使用 EC2 启动模板。Amazon Batch使您能够在Amazon Web Services 云,包括高性能计算 (HPC)、机器学习 (ML) 和其他异步工作负载。Amazon Batch根据作业资源要求自动动态调整实例的大小。有关更多信息,请参阅 。什么是Amazon Batch?中的Amazon Batch用户指南.

FSx for Lustre 集成了Amazon ParallelCluster.Amazon ParallelCluster是Amazon-支持的开源群集管理工具,用于部署和管理 HPC 群集。它可以自动为 Lustre 文件系统创建 FSx 或在集群创建过程中使用现有的文件系统。

安全性和合规性

FSx for Lustre 文件系统支持静态和传输中的加密。Amazon FSx 使用中管理的密钥自动加密静态文件系统数据Amazon Key Management Service(Amazon KMS)。在某些文件系统上,传输中的数据也会自动加密Amazon从受支持的 Amazon EC2 实例访问区域时。有关 FSx for Lustre 中的数据加密的更多信息,包括Amazon支持加密传输中数据的区域,请参阅Amazon FSx for Lustre 加密. 亚马逊 FSx 已被评估符合 ISO、PCI-DSS 和 SOC 认证,并且符合 HIPAA 资格。有关更多信息,请参阅 FSx 中的 Lustre

假设

在本指南中,我们做出以下假设:

  • 如果您使用 Amazon Elastic Compute Cloud (Amazon EC2),我们假设您熟悉该服务。有关如何使用 Amazon EC2 的更多信息,请参阅Amazon EC2 文档.

  • 我们假设您熟悉使用 Amazon Virtual Private Cloud (Amazon VPC)。有关如何使用 Amazon VPC 的更多信息,请参阅Amazon VPC User Guide.

  • 我们假设您尚未根据 Amazon VPC 服务更改 VPC 默认安全组的规则。如果有,请确保添加必要的规则,以允许从 Amazon EC2 实例到 Amazon FSx for Lustre 文件系统的网络流量。有关更多信息,请参阅 使用 Amazon VPC 进行文件系统访问控制

Amazon FSx for Lustre

使用适用于 Amazon FSx for Lustre,没有前期硬件或软件成本。您只需为使用的资源付费,没有最低承诺、设置成本或额外费用。有关与该服务关联的定价和费用的信息,请参阅Amazon FSx for Lustre 定价.

Amazon FSx for Lustre 论坛

如果您在使用 Amazon FSx for Lustre 时遇到问题,请检查论坛.

您是 Amazon FSx for Lustre 的新用户吗?

如果您是 Amazon FSx for Lustre 的新用户,我们建议您按顺序阅读以下内容:

  1. 如果您准备好为 Lustre 文件系统创建您的第一个 Amazon FSx for Lustre 文件系统,请尝试开始使用 Amazon FSx for Lustre.

  2. 有关性能的信息,请参阅 Amazon FSx for Lustre 性能

  3. 有关将文件系统链接到 Amazon S3 存储桶数据存储库的信息,请参阅将数据存储库与 Amazon FSx for Lustre.

  4. 有关 Amazon FSx for Lustre 安全详细信息,请参阅FSx 中的 Lustre.

  5. 有关 Amazon FSx for Lustre 的可扩展性限制的信息,包括吞吐量和文件系统大小,请参阅配额.

  6. 有关 Amazon FSx for Lustre API 的信息,请参阅Amazon FSx for Lustre API 参考.