Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

MapR 版次、版本和参数

MapR 支持多个版本、版次和参数,您可以使用 Amazon EMR 控制台或 CLI 传递到 MapR。以下示例使用的是 Amazon EMR CLI,但是 Amazon EMR 为每个命令都提供了可在控制台使用的等效命令。

有关使用 CLI 启动集群的更多信息,请参阅 计划和配置集群 中的各种集群类型说明。

版本

使用 CLI,您可以传递 --edition 参数以指定以下版次:

  • m3

  • m5

  • m7

如果不指定,默认版次是 m3

版本

您可以使用 --version 指定以下版本:

  • M3 Edition - 4.0.2、3.1.1、3.0.3、3.0.2、2.1.3

  • M5 Edition - 4.0.2、3.1.1、3.0.3、3.0.2、2.1.3

  • M7 版本 - 4.0.2、3.1.1、3.0.3、3.0.2

注意

MapR 4.0.2 版只能与 AMI 3.3.2 版配合使用。

参数

--supported-product 选项支持可选参数。Amazon EMR 接受该参数列表并将其作为引导操作参数转发给相应的安装脚本。以下示例显示了含有或不含可选参数的 --supported-product 选项的使用语法。key1value1 等字段表示 MapR 可识别的自定义密钥/值对,其中所示的名为 edition 密钥显示为一个示例:

--supported-product mapr-m3 --supported-product mapr-m3 --args "--key1,value1,--key2,value2" --supported-product mapr --args "--edition,m3,--key1,value1,--key2,value2" --supported-product mapr-m3 --args "--edition,m3,--key1,value1,--key2,value2"

下表列出用户指定参数和 --args 选项后 MapR 读取的这些参数的列表。

参数 说明
--edition

MapR 版本。

--version

MapR 版本。

--owner-password

Hadoop 所有者的密码。默认为 hadoop

--num-mapr-masters

m5/m7 集群的任何其他主节点。

--mfs-percentage

附加存储卷中要用于 MapR 文件系统的空间比率;默认值为 100 (所有可用空间) ;最低为 50。通过允许将一些存储空间用作常规 Linux 存储,使用 s3distcp 或其他此类机制执行大型副本移入移出 Amazon S3 存储的用户可能会实现性能提升。例如:--mfs-percentage,90。剩余的将作为 RAID0 文件系统装载到 S3_TMP_DIR。

--hive-version

Amazon Hive 程序包的版本。默认为 latest。要禁用 Amazon Hive 安装操作,请使用 --hive-version,none

--pig-version

Amazon Pig 程序包的版本。默认为 latest。要禁用 Amazon Pig 安装操作,请使用 --pig-version,none

下表显示了命令的示例,包括 --args 参数的参数,以及 MapR 解析输入后执行哪个命令。

选项 MapR 处理的命令
--supported-product mapr

--edition m3

--supported-product mapr-m5

--edition m5

--supported-product mapr-m3

--edition m3

--with-supported-products mapr-m3 (淘汰)

--edition m3

--with-supported-products mapr-m5 (淘汰)

--edition m5

--supported-product mapr-m5 --args "--version,1.1"

--edition m5 --version 1.1

--supported-product mapr-m5 --args "--edition,m3"

不适用 – 返回错误

--supported-product mapr --args "--edition,m5"

--edition m5

--supported-product mapr --args "--version,1.1"

--edition m3 --version 1.1

--supported-product mapr --args "--edition,m5,--key1 value1"

--edition m5 --key1 value1

注意

--with-supported-products 选项已淘汰,由 --supported-product 选项取代,后者提供了同样的 Hadoop 和 MapR 版本,并增加了对参数的支持。

本页内容: