Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

指定 Amazon EBS 根设备卷大小

此选项仅适用于 Amazon EMR 4.x 版及更高版本。当您使用 AWS 管理控制台、AWS CLI 或 Amazon EMR API 创建集群时,可指定从 10 GiB(默认值)到 100 GiB(最大值)的卷大小。此大小调整仅适用于 EBS 根设备卷,并且适用于集群中的所有实例。它不适用于您在创建集群时为每个实例类型单独指定的存储卷。

注意

如果您使用默认 AMI,Amazon EMR 将挂载通用型 SSD (gp2) 作为根设备卷类型。自定义 AMI 可能具有其他根设备卷类型。有关更多信息,请参阅 指定自定义 AMI

基于从中运行集群的区域中的卷类型的每月 EBS 费用按小时比例收取 EBS 根设备卷成本。存储卷也是如此。费用按 GB 计算,但如果您以 GiB 为单位指定根卷大小,可能需要在估算值中考虑到这一点 (1 GB 等于 0.931323 GiB)。要估算与集群中的 EBS 根设备卷关联的费用,请使用以下公式:

($EBS GB­month)×0.931323÷30÷24×EMR_EBSRootGiB×InstanceCount

例如,采用一个具有一个主节点和一个核心节点并使用带默认 10 GiB 根设备卷的基础 Amazon Linux AMI 的集群。如果区域中的 EBS 成本为每月每 GB 0.10 美元,则每实例每小时约 0.00129 美元,集群每小时约 0.00258 美元 (每月每 GB 0.10 美元除以 30 天,除以 24 小时,乘以 10 GB,乘以 2 个集群实例)。

使用控制台指定 EBS 根设备卷大小

  1. 通过以下网址打开 Amazon EMR 控制台:https://console.amazonaws.cn/elasticmapreduce/

  2. 选择 Create cluster

  3. 选择 Go to advanced options (转到高级选项)

  4. Software Configuration (软件配置) 下,对于 Release (发布),选择 4.x 或 5.x 值和适合您的应用程序的其他选项,然后选择 Next (下一步)

  5. Hardware Configuration (硬件配置) 下,对于 Root device EBS volume size (根设备 EBS 卷大小),输入一个介于 10 GiB 和 100 GiB 之间的值。

使用 AWS CLI 指定 EBS 根设备卷大小

  • 使用 create-cluster 命令的 --ebs-root-volume-size 参数,如以下示例所示。

    注意

    包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

    aws emr create-cluster --release-label emr-5.7.0 \ --ebs-root-volume-size 20 --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large