Amazon EMR
Amazon EMR 版本指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

任务配置

您可以设置配置变量以调节 MapReduce 任务的性能。本节提供了一些重要设置的默认值。这些默认值因集群中使用的节点的 EC2 实例类型而异。在使用 Amazon EMR 发布版本 4.6.0 和更高版本时,HBase 可用。安装 HBase 时使用不同的默认值。这些值将与初始默认值一起提供。

Hadoop 2 使用两个参数 (mapreduce.map.java.optsmapreduce.reduce.java.opts) 分别配置用于映射和缩减 JVM 的内存。它们替代之前的 Hadoop 版本中的单个 mapreduce.map.java.opts 配置选项。

同样,在 Hadoop 2.7.2 及更高版本中,mapred.job.jvm.num.tasks 替换 mapred.job.reuse.jvm.num.tasks。Amazon EMR 将此值设置为 20,无论 EC2 实例类型如何。您可以使用 mapred-site 配置分类覆盖此设置。设置值 -1 表示可对单个作业内无线数量的任务重新使用 JVM,1 的值表示为每个任务生成一个新的 JVM。

例如,要将 mapred.job.jvm.num.tasks 的值设置为 -1,您可以创建一个包含以下内容的文件:

[ { "Classification": "mapred-site", "Properties": { "mapred.job.jvm.num.tasks": "-1" } } ]

从 AWS CLI 中使用 create-clustermodify-instance-groups 命令时,您可以引用 JSON 配置文件。在以下示例中,该配置文件将另存为 myConfig.json 并存储在 Amazon S3 中。

注意

包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

aws emr create-cluster --release-label emr-5.27.0 --instance-type m5.xlarge \ --instance-count 3 --applications Name=Hadoop --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json \ --use-default-roles

您可以通过相同方式使用 mapred-site 配置分类更改下面列出的默认值,并使用一个 JSON 文件设置多个值和多个配置分类。有关更多信息,请参阅 配置应用程序

使用 Amazon EMR 版本 5.21.0 以及更高版本,您可以覆盖集群配置,并为运行的集群中的每个实例组指定更多配置分类。您可以使用 Amazon EMR 控制台、AWS Command Line Interface (AWS CLI) 或 AWS 开发工具包来实现此操作。有关更多信息,请参阅为正在运行的实例中的实例组提供配置

任务配置设置的默认值

c1 实例

c1.medium

配置选项 默认值
mapreduce.map.java.opts -Xmx288m
mapreduce.reduce.java.opts -Xmx288m
mapreduce.map.memory.mb 512
mapreduce.reduce.memory.mb 512
yarn.app.mapreduce.am.resource.mb 512
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 512
yarn.nodemanager.resource.memory-mb 1024

c1.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx864m -Xmx864m
mapreduce.reduce.java.opts -Xmx1536m -Xmx1536m
mapreduce.map.memory.mb 1024 1024
mapreduce.reduce.memory.mb 2048 2048
yarn.app.mapreduce.am.resource.mb 2048 2048
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 2048 2560
yarn.nodemanager.resource.memory-mb 5120 2560

c3 实例

c3.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1126m -Xmx1126m
mapreduce.reduce.java.opts -Xmx2252m -Xmx2252m
mapreduce.map.memory.mb 1408 1408
mapreduce.reduce.memory.mb 2816 2816
yarn.app.mapreduce.am.resource.mb 2816 2816
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 5632 2816
yarn.nodemanager.resource.memory-mb 5632 2816

c3.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1152m -Xmx1152m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1440 1440
mapreduce.reduce.memory.mb 2 880 2 880
yarn.app.mapreduce.am.resource.mb 2 880 2 880
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 11520 5760
yarn.nodemanager.resource.memory-mb 11520 5760

c3.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1152m -Xmx1152m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1440 1440
mapreduce.reduce.memory.mb 2 880 2 880
yarn.app.mapreduce.am.resource.mb 2 880 2 880
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23040 11520
yarn.nodemanager.resource.memory-mb 23040 11520

c3.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1331m -Xmx1331m
mapreduce.reduce.java.opts -Xmx2662m -Xmx2662m
mapreduce.map.memory.mb 1664 1664
mapreduce.reduce.memory.mb 3328 3328
yarn.app.mapreduce.am.resource.mb 3328 3328
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 53248 26624
yarn.nodemanager.resource.memory-mb 53248 26624

c4 实例

c4.large

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx717m -Xmx717m
mapreduce.reduce.java.opts -Xmx1434m -Xmx1434m
mapreduce.map.memory.mb 896 896
mapreduce.reduce.memory.mb 1792 1792
yarn.app.mapreduce.am.resource.mb 1792 1792
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 1792 896
yarn.nodemanager.resource.memory-mb 1792 896

c4.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1126m -Xmx1126m
mapreduce.reduce.java.opts -Xmx2253m -Xmx2253m
mapreduce.map.memory.mb 1408 1408
mapreduce.reduce.memory.mb 2816 2816
yarn.app.mapreduce.am.resource.mb 2816 2816
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 5632 2816
yarn.nodemanager.resource.memory-mb 5632 2816

c4.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1152m -Xmx1152m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1440 1440
mapreduce.reduce.memory.mb 2 880 2 880
yarn.app.mapreduce.am.resource.mb 2 880 2 880
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 11520 5760
yarn.nodemanager.resource.memory-mb 11520 5760

c4.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1152m -Xmx1152m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1440 1440
mapreduce.reduce.memory.mb 2 880 2 880
yarn.app.mapreduce.am.resource.mb 2 880 2 880
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23040 11520
yarn.nodemanager.resource.memory-mb 23040 11520

c4.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1183m -Xmx1183m
mapreduce.reduce.java.opts -Xmx2366m -Xmx2366m
mapreduce.map.memory.mb 1479 1479
mapreduce.reduce.memory.mb 2958 2958
yarn.app.mapreduce.am.resource.mb 2958 2958
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 53248 26624
yarn.nodemanager.resource.memory-mb 53248 26624

c5 实例

c5.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 3072
yarn.app.mapreduce.am.resource.mb 3072
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 6144
yarn.nodemanager.resource.memory-mb 6144

c5.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 3072
yarn.app.mapreduce.am.resource.mb 3072
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 12288
yarn.nodemanager.resource.memory-mb 12288

c5.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 3072
yarn.app.mapreduce.am.resource.mb 3072
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

c5.9xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1456m
mapreduce.reduce.java.opts -Xmx2912m
mapreduce.map.memory.mb 1820
mapreduce.reduce.memory.mb 3640
yarn.app.mapreduce.am.resource.mb 3640
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 65536
yarn.nodemanager.resource.memory-mb 65536

c5.18xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1547m
mapreduce.reduce.java.opts -Xmx3094m
mapreduce.map.memory.mb 1934
mapreduce.reduce.memory.mb 3868
yarn.app.mapreduce.am.resource.mb 3868
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 139264
yarn.nodemanager.resource.memory-mb 139264

c5d 实例

c5d.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 3072
yarn.app.mapreduce.am.resource.mb 3072
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 6144
yarn.nodemanager.resource.memory-mb 6144

c5d.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 3072
yarn.app.mapreduce.am.resource.mb 3072
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 12288
yarn.nodemanager.resource.memory-mb 12288

c5d.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 3072
yarn.app.mapreduce.am.resource.mb 3072
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

c5d.9xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1456m
mapreduce.reduce.java.opts -Xmx2912m
mapreduce.map.memory.mb 1820
mapreduce.reduce.memory.mb 3640
yarn.app.mapreduce.am.resource.mb 3640
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 65536
yarn.nodemanager.resource.memory-mb 65536

c5d.18xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1547m
mapreduce.reduce.java.opts -Xmx3094m
mapreduce.map.memory.mb 1934
mapreduce.reduce.memory.mb 3868
yarn.app.mapreduce.am.resource.mb 3868
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 139264
yarn.nodemanager.resource.memory-mb 139264

c5n 实例

c5n.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1613m
mapreduce.reduce.java.opts -Xmx3226m
mapreduce.map.memory.mb 2016
mapreduce.reduce.memory.mb 4032
yarn.app.mapreduce.am.resource.mb 4032
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 8064
yarn.nodemanager.resource.memory-mb 8064

c5n.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1613m
mapreduce.reduce.java.opts -Xmx3226m
mapreduce.map.memory.mb 2016
mapreduce.reduce.memory.mb 4032
yarn.app.mapreduce.am.resource.mb 4032
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 16128
yarn.nodemanager.resource.memory-mb 16128

c5n.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1741m
mapreduce.reduce.java.opts -Xmx3482m
mapreduce.map.memory.mb 2176
mapreduce.reduce.memory.mb 4352
yarn.app.mapreduce.am.resource.mb 4352
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 34816
yarn.nodemanager.resource.memory-mb 34816

c5n.9xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2002m
mapreduce.reduce.java.opts -Xmx4004m
mapreduce.map.memory.mb 2503
mapreduce.reduce.memory.mb 5006
yarn.app.mapreduce.am.resource.mb 5006
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 90112
yarn.nodemanager.resource.memory-mb 90112

c5n.18xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2094m
mapreduce.reduce.java.opts -Xmx4188m
mapreduce.map.memory.mb 2617
mapreduce.reduce.memory.mb 5234
yarn.app.mapreduce.am.resource.mb 5234
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 188416
yarn.nodemanager.resource.memory-mb 188416

cc2 实例

cc2.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1280m -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 2560 2560
yarn.app.mapreduce.am.resource.mb 2560 2560
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 56320 28160
yarn.nodemanager.resource.memory-mb 56320 28160

cg1 实例

cg1.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1280m -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 2560 2560
yarn.app.mapreduce.am.resource.mb 2560 2560
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 5120 10240
yarn.nodemanager.resource.memory-mb 20480 10240

cr1 实例

cr1.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx6042m -Xmx6042m
mapreduce.reduce.java.opts -Xmx12084m -Xmx12084m
mapreduce.map.memory.mb 7552 7552
mapreduce.reduce.memory.mb 15104 15104
yarn.app.mapreduce.am.resource.mb 15104 15104
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 241664 211456
yarn.nodemanager.resource.memory-mb 241664 211456

d2 实例

d2.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2342m -Xmx2342m
mapreduce.reduce.java.opts -Xmx4685m -Xmx4685m
mapreduce.map.memory.mb 2928 2928
mapreduce.reduce.memory.mb 5856 5856
yarn.app.mapreduce.am.resource.mb 5856 5856
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23424 11712
yarn.nodemanager.resource.memory-mb 23424 11712

d2.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2714m -Xmx2714m
mapreduce.reduce.java.opts -Xmx5428m -Xmx5428m
mapreduce.map.memory.mb 3392 3392
mapreduce.reduce.memory.mb 6784 6784
yarn.app.mapreduce.am.resource.mb 6784 6784
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 54272 27136
yarn.nodemanager.resource.memory-mb 54272 27136

d2.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2918m -Xmx2918m
mapreduce.reduce.java.opts -Xmx5836m -Xmx5836m
mapreduce.map.memory.mb 3648 3648
mapreduce.reduce.memory.mb 7296 7296
yarn.app.mapreduce.am.resource.mb 7296 7296
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 116736 87552
yarn.nodemanager.resource.memory-mb 116736 87552

d2.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2417m -Xmx2417m
mapreduce.reduce.java.opts -Xmx4384m -Xmx4834m
mapreduce.map.memory.mb 3021 3021
mapreduce.reduce.memory.mb 6042 6042
yarn.app.mapreduce.am.resource.mb 6042 6042
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 241664 211470
yarn.nodemanager.resource.memory-mb 241664 211470

g2 实例

g2.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx512m -Xmx512m
mapreduce.reduce.java.opts -Xmx1536m -Xmx1536m
mapreduce.map.memory.mb 768 768
mapreduce.reduce.memory.mb 2048 2048
yarn.app.mapreduce.am.resource.mb 2048 2048
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 8192 6144
yarn.nodemanager.resource.memory-mb 12288 6144

g3 实例

g3.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5837m
mapreduce.reduce.java.opts -Xmx11674m
mapreduce.map.memory.mb 7296
mapreduce.reduce.memory.mb 14592
yarn.app.mapreduce.am.resource.mb 14592
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 116736
yarn.nodemanager.resource.memory-mb 116736

g3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6042m
mapreduce.reduce.java.opts -Xmx12084m
mapreduce.map.memory.mb 7552
mapreduce.reduce.memory.mb 15104
yarn.app.mapreduce.am.resource.mb 15104
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 241664
yarn.nodemanager.resource.memory-mb 241664

g3.16xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m
mapreduce.map.memory.mb 7680
mapreduce.reduce.memory.mb 15360
yarn.app.mapreduce.am.resource.mb 15360
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 491520
yarn.nodemanager.resource.memory-mb 491520

g3s 实例

g3s.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4685m
mapreduce.reduce.java.opts -Xmx9370m
mapreduce.map.memory.mb 5856
mapreduce.reduce.memory.mb 11712
yarn.app.mapreduce.am.resource.mb 11712
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 23424
yarn.nodemanager.resource.memory-mb 23424

h1 实例

h1.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

h1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2867m
mapreduce.reduce.java.opts -Xmx5734m
mapreduce.map.memory.mb 3584
mapreduce.reduce.memory.mb 7168
yarn.app.mapreduce.am.resource.mb 7168
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

h1.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3072m
mapreduce.reduce.java.opts -Xmx6144m
mapreduce.map.memory.mb 3840
mapreduce.reduce.memory.mb 7680
yarn.app.mapreduce.am.resource.mb 7680
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 122880
yarn.nodemanager.resource.memory-mb 122880

h1.16xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3174m
mapreduce.reduce.java.opts -Xmx6348m
mapreduce.map.memory.mb 3968
mapreduce.reduce.memory.mb 7936
yarn.app.mapreduce.am.resource.mb 7936
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 253952
yarn.nodemanager.resource.memory-mb 253952

hi1 实例

hi1.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2688m -Xmx2688m
mapreduce.reduce.java.opts -Xmx5376m -Xmx5376m
mapreduce.map.memory.mb 3360 3360
mapreduce.reduce.memory.mb 6720 6720
yarn.app.mapreduce.am.resource.mb 6720 6720
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 53760 26880
yarn.nodemanager.resource.memory-mb 53760 26880

hs1 实例

hs1.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1280m -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 2560 2560
yarn.app.mapreduce.am.resource.mb 2560 2560
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 8192 28160
yarn.nodemanager.resource.memory-mb 56320 28160

i2 实例

i2.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2342m -Xmx2342m
mapreduce.reduce.java.opts -Xmx4684m -Xmx4684m
mapreduce.map.memory.mb 2928 2928
mapreduce.reduce.memory.mb 5856 5856
yarn.app.mapreduce.am.resource.mb 5856 5856
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23424 11712
yarn.nodemanager.resource.memory-mb 23424 11712

i2.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2714m -Xmx2714m
mapreduce.reduce.java.opts -Xmx5428m -Xmx5428m
mapreduce.map.memory.mb 3392 3392
mapreduce.reduce.memory.mb 6784 6784
yarn.app.mapreduce.am.resource.mb 6784 6784
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 54272 27136
yarn.nodemanager.resource.memory-mb 54272 27136

i2.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2918m -Xmx2918m
mapreduce.reduce.java.opts -Xmx5836m -Xmx5836m
mapreduce.map.memory.mb 3648 3648
mapreduce.reduce.memory.mb 7296 7296
yarn.app.mapreduce.am.resource.mb 7296 7296
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 116736 87552
yarn.nodemanager.resource.memory-mb 116736 87552

i2.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx3021m -Xmx3021m
mapreduce.reduce.java.opts -Xmx6042m -Xmx6042m
mapreduce.map.memory.mb 3776 3776
mapreduce.reduce.memory.mb 7552 7552
yarn.app.mapreduce.am.resource.mb 7552 7552
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 241664 211456
yarn.nodemanager.resource.memory-mb 241664 211456

i3 实例

i3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4685m
mapreduce.reduce.java.opts -Xmx9370m
mapreduce.map.memory.mb 5856
mapreduce.reduce.memory.mb 11712
yarn.app.mapreduce.am.resource.mb 11712
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 23424
yarn.nodemanager.resource.memory-mb 23424

i3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5427m
mapreduce.reduce.java.opts -Xmx10854m
mapreduce.map.memory.mb 6784
mapreduce.reduce.memory.mb 13568
yarn.app.mapreduce.am.resource.mb 13568
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 54272
yarn.nodemanager.resource.memory-mb 54272

i3.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5837m
mapreduce.reduce.java.opts -Xmx11674m
mapreduce.map.memory.mb 7296
mapreduce.reduce.memory.mb 14592
yarn.app.mapreduce.am.resource.mb 14592
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 116736
yarn.nodemanager.resource.memory-mb 116736

i3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6042m
mapreduce.reduce.java.opts -Xmx12083m
mapreduce.map.memory.mb 7552
mapreduce.reduce.memory.mb 15104
yarn.app.mapreduce.am.resource.mb 15104
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 241664
yarn.nodemanager.resource.memory-mb 241664

i3.16xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m
mapreduce.map.memory.mb 7680
mapreduce.reduce.memory.mb 15360
yarn.app.mapreduce.am.resource.mb 15360
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 491520
yarn.nodemanager.resource.memory-mb 491520

i3en 实例

i3en.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4915m
mapreduce.reduce.java.opts -Xmx9830m
mapreduce.map.memory.mb 6144
mapreduce.reduce.memory.mb 12288
yarn.app.mapreduce.am.resource.mb 12288
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

i3en.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5734m
mapreduce.reduce.java.opts -Xmx11468m
mapreduce.map.memory.mb 7168
mapreduce.reduce.memory.mb 14336
yarn.app.mapreduce.am.resource.mb 14336
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

i3en.3xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6007m
mapreduce.reduce.java.opts -Xmx12014m
mapreduce.map.memory.mb 7509
mapreduce.reduce.memory.mb 15018
yarn.app.mapreduce.am.resource.mb 15018
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 90112
yarn.nodemanager.resource.memory-mb 90112

i3en.6xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6281m
mapreduce.reduce.java.opts -Xmx12562m
mapreduce.map.memory.mb 7851
mapreduce.reduce.memory.mb 15702
yarn.app.mapreduce.am.resource.mb 15702
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 188416
yarn.nodemanager.resource.memory-mb 188416

i3en.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6417m
mapreduce.reduce.java.opts -Xmx12834m
mapreduce.map.memory.mb 8021
mapreduce.reduce.memory.mb 16042
yarn.app.mapreduce.am.resource.mb 16042
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

i3en.24xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6486m
mapreduce.reduce.java.opts -Xmx12972m
mapreduce.map.memory.mb 8107
mapreduce.reduce.memory.mb 16214
yarn.app.mapreduce.am.resource.mb 16214
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 778240
yarn.nodemanager.resource.memory-mb 778240

m1 实例

m1.medium

配置选项 默认值
mapreduce.map.java.opts -Xmx512m
mapreduce.reduce.java.opts -Xmx768m
mapreduce.map.memory.mb 768
mapreduce.reduce.memory.mb 1024
yarn.app.mapreduce.am.resource.mb 1024
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 2048
yarn.nodemanager.resource.memory-mb 2048

m1.large

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx512m -Xmx512m
mapreduce.reduce.java.opts -Xmx1024m -Xmx1024m
mapreduce.map.memory.mb 768 768
mapreduce.reduce.memory.mb 1536 1536
yarn.app.mapreduce.am.resource.mb 1536 1536
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 5120 2560
yarn.nodemanager.resource.memory-mb 5120 2560

m1.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx512m -Xmx512m
mapreduce.reduce.java.opts -Xmx1536m -Xmx1536m
mapreduce.map.memory.mb 768 768
mapreduce.reduce.memory.mb 2048 2048
yarn.app.mapreduce.am.resource.mb 2048 2048
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 8192 6144
yarn.nodemanager.resource.memory-mb 12288 6144

m2 实例

m2.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx864m -Xmx864m
mapreduce.reduce.java.opts -Xmx1536m -Xmx1536m
mapreduce.map.memory.mb 1024 1024
mapreduce.reduce.memory.mb 2048 2048
yarn.app.mapreduce.am.resource.mb 2048 2048
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 7168 7168
yarn.nodemanager.resource.memory-mb 14336 7168

m2.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1280m -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 2560 2560
yarn.app.mapreduce.am.resource.mb 2560 2560
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 8192 15360
yarn.nodemanager.resource.memory-mb 61440 15360

m2.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1280m -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 2560 2560
yarn.app.mapreduce.am.resource.mb 2560 2560
yarn.scheduler.minimum-allocation-mb 256 32
yarn.scheduler.maximum-allocation-mb 8192 30720
yarn.nodemanager.resource.memory-mb 61440 30720

m3 实例

m3.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1152m -Xmx1152m
mapreduce.reduce.java.opts -Xmx2304m -Xmx2304m
mapreduce.map.memory.mb 1440 1440
mapreduce.reduce.memory.mb 2 880 2 880
yarn.app.mapreduce.am.resource.mb 2 880 2 880
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23040 11520
yarn.nodemanager.resource.memory-mb 23040 11520

m4 实例

m4.large

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1229m -Xmx2458m
mapreduce.reduce.java.opts -Xmx2458m -Xmx4916m
mapreduce.map.memory.mb 1536 3072
mapreduce.reduce.memory.mb 3072 6144
yarn.app.mapreduce.am.resource.mb 3072 6144
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 6144 3072
yarn.nodemanager.resource.memory-mb 6144 3072

m4.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1229m -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m -Xmx2458m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 3072 3072
yarn.app.mapreduce.am.resource.mb 3072 3072
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 12288 6144
yarn.nodemanager.resource.memory-mb 12288 6144

m4.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1229m -Xmx1229m
mapreduce.reduce.java.opts -Xmx2458m -Xmx2458m
mapreduce.map.memory.mb 1536 1536
mapreduce.reduce.memory.mb 3072 3072
yarn.app.mapreduce.am.resource.mb 3072 3072
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 24 576 12288
yarn.nodemanager.resource.memory-mb 24 576 12288

m4.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1434m -Xmx1434m
mapreduce.reduce.java.opts -Xmx2868m -Xmx2868m
mapreduce.map.memory.mb 1792 1792
mapreduce.reduce.memory.mb 3584 3584
yarn.app.mapreduce.am.resource.mb 3584 3584
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 57344 28672
yarn.nodemanager.resource.memory-mb 57344 28672

m4.10xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx1557m -Xmx1557m
mapreduce.reduce.java.opts -Xmx3114m -Xmx3114m
mapreduce.map.memory.mb 1946 1946
mapreduce.reduce.memory.mb 3892 3892
yarn.app.mapreduce.am.resource.mb 3892 3892
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 155648 124544
yarn.nodemanager.resource.memory-mb 155648 124544

m4.16xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1587m
mapreduce.reduce.java.opts -Xmx3174m
mapreduce.map.memory.mb 1984
mapreduce.reduce.memory.mb 3968
yarn.app.mapreduce.am.resource.mb 3968
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 253952
yarn.nodemanager.resource.memory-mb 253952

m5 实例

m5.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 12288
yarn.nodemanager.resource.memory-mb 12288

m5.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

m5.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2867m
mapreduce.reduce.java.opts -Xmx5734m
mapreduce.map.memory.mb 3584
mapreduce.reduce.memory.mb 7168
yarn.app.mapreduce.am.resource.mb 7168
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

m5.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3140m
mapreduce.reduce.java.opts -Xmx6280m
mapreduce.map.memory.mb 3925
mapreduce.reduce.memory.mb 7850
yarn.app.mapreduce.am.resource.mb 7850
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 188416
yarn.nodemanager.resource.memory-mb 188416

m5.24xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3209m
mapreduce.reduce.java.opts -Xmx6418m
mapreduce.map.memory.mb 4011
mapreduce.reduce.memory.mb 8022
yarn.app.mapreduce.am.resource.mb 8022
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

m5a 实例

m5a.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 12288
yarn.nodemanager.resource.memory-mb 12288

m5a.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

m5a.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2867m
mapreduce.reduce.java.opts -Xmx5734m
mapreduce.map.memory.mb 3584
mapreduce.reduce.memory.mb 7168
yarn.app.mapreduce.am.resource.mb 7168
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

m5a.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3140m
mapreduce.reduce.java.opts -Xmx6280m
mapreduce.map.memory.mb 3925
mapreduce.reduce.memory.mb 7850
yarn.app.mapreduce.am.resource.mb 7850
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 188416
yarn.nodemanager.resource.memory-mb 188416

m5a.24xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3209m
mapreduce.reduce.java.opts -Xmx6418m
mapreduce.map.memory.mb 4011
mapreduce.reduce.memory.mb 8022
yarn.app.mapreduce.am.resource.mb 8022
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

m5d 实例

m5d.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 12288
yarn.nodemanager.resource.memory-mb 12288

m5d.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2458m
mapreduce.reduce.java.opts -Xmx4916m
mapreduce.map.memory.mb 3072
mapreduce.reduce.memory.mb 6144
yarn.app.mapreduce.am.resource.mb 6144
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

m5d.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2867m
mapreduce.reduce.java.opts -Xmx5734m
mapreduce.map.memory.mb 3584
mapreduce.reduce.memory.mb 7168
yarn.app.mapreduce.am.resource.mb 7168
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

m5d.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3140m
mapreduce.reduce.java.opts -Xmx6280m
mapreduce.map.memory.mb 3925
mapreduce.reduce.memory.mb 7850
yarn.app.mapreduce.am.resource.mb 7850
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 188416
yarn.nodemanager.resource.memory-mb 188416

m5d.24xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3209m
mapreduce.reduce.java.opts -Xmx6418m
mapreduce.map.memory.mb 4011
mapreduce.reduce.memory.mb 8022
yarn.app.mapreduce.am.resource.mb 8022
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

p2 实例

p2.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10854m
mapreduce.reduce.java.opts -Xmx21708m
mapreduce.map.memory.mb 13568
mapreduce.reduce.memory.mb 27136
yarn.app.mapreduce.am.resource.mb 27136
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 54272
yarn.nodemanager.resource.memory-mb 54272

p2.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx12288m
mapreduce.reduce.java.opts -Xmx24576
mapreduce.map.memory.mb 15360
mapreduce.reduce.memory.mb 30720
yarn.app.mapreduce.am.resource.mb 30720
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 491520
yarn.nodemanager.resource.memory-mb 491520

p2.16xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx9267m
mapreduce.reduce.java.opts -Xmx18534m
mapreduce.map.memory.mb 11584
mapreduce.reduce.memory.mb 23168
yarn.app.mapreduce.am.resource.mb 23168
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 741376
yarn.nodemanager.resource.memory-mb 741376

p3 实例

p3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5427m
mapreduce.reduce.java.opts -Xmx10854m
mapreduce.map.memory.mb 6784
mapreduce.reduce.memory.mb 13568
yarn.app.mapreduce.am.resource.mb 13568
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 54272
yarn.nodemanager.resource.memory-mb 54272

p3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6042m
mapreduce.reduce.java.opts -Xmx12084m
mapreduce.map.memory.mb 7552
mapreduce.reduce.memory.mb 15104
yarn.app.mapreduce.am.resource.mb 15104
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 241664
yarn.nodemanager.resource.memory-mb 241664

p3.16xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m
mapreduce.map.memory.mb 7680
mapreduce.reduce.memory.mb 15360
yarn.app.mapreduce.am.resource.mb 15360
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 491520
yarn.nodemanager.resource.memory-mb 491520

r3 实例

r3.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2342m -Xmx2342m
mapreduce.reduce.java.opts -Xmx4684m -Xmx4684m
mapreduce.map.memory.mb 2928 2928
mapreduce.reduce.memory.mb 5856 5856
yarn.app.mapreduce.am.resource.mb 5856 5856
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23424 11712
yarn.nodemanager.resource.memory-mb 23424 11712

r3.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2714m -Xmx2714m
mapreduce.reduce.java.opts -Xmx5428m -Xmx5428m
mapreduce.map.memory.mb 3392 3392
mapreduce.reduce.memory.mb 6784 6784
yarn.app.mapreduce.am.resource.mb 6784 6784
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 54272 27136
yarn.nodemanager.resource.memory-mb 54272 27136

r3.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx2918m -Xmx2918m
mapreduce.reduce.java.opts -Xmx5836m -Xmx5836m
mapreduce.map.memory.mb 3648 3648
mapreduce.reduce.memory.mb 7296 7296
yarn.app.mapreduce.am.resource.mb 7296 7296
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 116736 87552
yarn.nodemanager.resource.memory-mb 116736 87552

r3.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx3021m -Xmx3021m
mapreduce.reduce.java.opts -Xmx6042m -Xmx6042m
mapreduce.map.memory.mb 3776 3776
mapreduce.reduce.memory.mb 7552 7552
yarn.app.mapreduce.am.resource.mb 7552 7552
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 241664 211456
yarn.nodemanager.resource.memory-mb 241664 211456

r4 实例

注意

R4 实例仅在 Amazon EMR 发布版本 5.4.0 和更高版本中提供。

r4.xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx4685m -Xmx2342m
mapreduce.reduce.java.opts -Xmx9370m -Xmx4684m
mapreduce.map.memory.mb 5856 5856
mapreduce.reduce.memory.mb 11712 11712
yarn.app.mapreduce.am.resource.mb 11712 11712
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 23424 11712
yarn.nodemanager.resource.memory-mb 23424 11712

r4.2xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx5427m -Xmx5427m
mapreduce.reduce.java.opts -Xmx10854m -Xmx10854m
mapreduce.map.memory.mb 6784 6784
mapreduce.reduce.memory.mb 13568 13568
yarn.app.mapreduce.am.resource.mb 13568 13568
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 54272 27136
yarn.nodemanager.resource.memory-mb 54272 27136

r4.4xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx5837m -Xmx5837m
mapreduce.reduce.java.opts -Xmx11674m -Xmx11674m
mapreduce.map.memory.mb 7296 7296
mapreduce.reduce.memory.mb 14592 14592
yarn.app.mapreduce.am.resource.mb 14592 14592
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 116736 87552
yarn.nodemanager.resource.memory-mb 116736 87552

r4.8xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx6042m -Xmx6042m
mapreduce.reduce.java.opts -Xmx12084m -Xmx12084m
mapreduce.map.memory.mb 7552 7552
mapreduce.reduce.memory.mb 15104 15104
yarn.app.mapreduce.am.resource.mb 15104 15104
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 241664 211456
yarn.nodemanager.resource.memory-mb 241664 211456

r4.16xlarge

配置选项 默认值 安装了 HBase
mapreduce.map.java.opts -Xmx6144m -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m -Xmx1228m
mapreduce.map.memory.mb 7680 7680
mapreduce.reduce.memory.mb 15360 15360
yarn.app.mapreduce.am.resource.mb 15360 15360
yarn.scheduler.minimum-allocation-mb 32 32
yarn.scheduler.maximum-allocation-mb 491520 460800
yarn.nodemanager.resource.memory-mb 491520 460800

r5 实例

r5.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4915m
mapreduce.reduce.java.opts -Xmx9830m
mapreduce.map.memory.mb 6144
mapreduce.reduce.memory.mb 12288
yarn.app.mapreduce.am.resource.mb 12288
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

r5.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5734m
mapreduce.reduce.java.opts -Xmx11468m
mapreduce.map.memory.mb 7168
mapreduce.reduce.memory.mb 14336
yarn.app.mapreduce.am.resource.mb 14336
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

r5.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m
mapreduce.map.memory.mb 7680
mapreduce.reduce.memory.mb 15360
yarn.app.mapreduce.am.resource.mb 15360
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 122880
yarn.nodemanager.resource.memory-mb 122880

r5.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6417m
mapreduce.reduce.java.opts -Xmx12834m
mapreduce.map.memory.mb 8021
mapreduce.reduce.memory.mb 16042
yarn.app.mapreduce.am.resource.mb 16042
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

r5a 实例

r5a.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4915m
mapreduce.reduce.java.opts -Xmx9830m
mapreduce.map.memory.mb 6144
mapreduce.reduce.memory.mb 12288
yarn.app.mapreduce.am.resource.mb 12288
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

r5a.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5734m
mapreduce.reduce.java.opts -Xmx11468m
mapreduce.map.memory.mb 7168
mapreduce.reduce.memory.mb 14336
yarn.app.mapreduce.am.resource.mb 14336
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

r5a.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m
mapreduce.map.memory.mb 7680
mapreduce.reduce.memory.mb 15360
yarn.app.mapreduce.am.resource.mb 15360
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 122880
yarn.nodemanager.resource.memory-mb 122880

r5a.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6417m
mapreduce.reduce.java.opts -Xmx12834m
mapreduce.map.memory.mb 8021
mapreduce.reduce.memory.mb 16042
yarn.app.mapreduce.am.resource.mb 16042
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

r5a.24xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6486m
mapreduce.reduce.java.opts -Xmx12972m
mapreduce.map.memory.mb 8107
mapreduce.reduce.memory.mb 16214
yarn.app.mapreduce.am.resource.mb 16214
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 778240
yarn.nodemanager.resource.memory-mb 778240

r5d 实例

r5d.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4915m
mapreduce.reduce.java.opts -Xmx9830m
mapreduce.map.memory.mb 6144
mapreduce.reduce.memory.mb 12288
yarn.app.mapreduce.am.resource.mb 12288
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

r5d.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5734m
mapreduce.reduce.java.opts -Xmx11468m
mapreduce.map.memory.mb 7168
mapreduce.reduce.memory.mb 14336
yarn.app.mapreduce.am.resource.mb 14336
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

r5d.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6144m
mapreduce.reduce.java.opts -Xmx12288m
mapreduce.map.memory.mb 7680
mapreduce.reduce.memory.mb 15360
yarn.app.mapreduce.am.resource.mb 15360
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 122880
yarn.nodemanager.resource.memory-mb 122880

r5d.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6417m
mapreduce.reduce.java.opts -Xmx12834m
mapreduce.map.memory.mb 8021
mapreduce.reduce.memory.mb 16042
yarn.app.mapreduce.am.resource.mb 16042
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024

r5d.24xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6486m
mapreduce.reduce.java.opts -Xmx12972m
mapreduce.map.memory.mb 8107
mapreduce.reduce.memory.mb 16214
yarn.app.mapreduce.am.resource.mb 16214
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 778240
yarn.nodemanager.resource.memory-mb 778240

z1d 实例

z1d.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4915m
mapreduce.reduce.java.opts -Xmx9830m
mapreduce.map.memory.mb 6144
mapreduce.reduce.memory.mb 12288
yarn.app.mapreduce.am.resource.mb 12288
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 24 576
yarn.nodemanager.resource.memory-mb 24 576

z1d.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5734m
mapreduce.reduce.java.opts -Xmx11468m
mapreduce.map.memory.mb 7168
mapreduce.reduce.memory.mb 14336
yarn.app.mapreduce.am.resource.mb 14336
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 57344
yarn.nodemanager.resource.memory-mb 57344

z1d.3xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6007m
mapreduce.reduce.java.opts -Xmx12014m
mapreduce.map.memory.mb 7509
mapreduce.reduce.memory.mb 15018
yarn.app.mapreduce.am.resource.mb 15018
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 90112
yarn.nodemanager.resource.memory-mb 90112

z1d.6xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6281m
mapreduce.reduce.java.opts -Xmx12562m
mapreduce.map.memory.mb 7851
mapreduce.reduce.memory.mb 15702
yarn.app.mapreduce.am.resource.mb 15702
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 188416
yarn.nodemanager.resource.memory-mb 188416

z1d.12xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx6417m
mapreduce.reduce.java.opts -Xmx12834m
mapreduce.map.memory.mb 8021
mapreduce.reduce.memory.mb 16042
yarn.app.mapreduce.am.resource.mb 16042
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 385024
yarn.nodemanager.resource.memory-mb 385024