本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊EMR版本 4.3.0
4.3.0 应用程序版本
此版本支持以下应用程序:Ganglia
下表列出了此版本的 Amazon 中可用的应用程序版本EMR和前三个亚马逊版本中的应用程序EMR版本(如果适用)。
要全面了解每个 Amazon 版本的应用程序版本历史记录EMR,请参阅以下主题:
应用程序版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
emr-4.3.0 | emr-4.2.0 | emr-4.1.0 | emr-4.0.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
适用于 Java 的Amazon SDK | 1.10.27 | 1.10.27 | 未跟踪 | 未跟踪 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Scala | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
AmazonCloudWatchAgent | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Delta | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Flink | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Ganglia | 3.7.2 | 3.6.0 | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
HBase | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
HCatalog | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hadoop | 2.7.1 | 2.6.0 | 2.6.0 | 2.6.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hive | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hudi | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Hue | 3.7.1 | 3.7.1 | 3.7.1 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Iceberg | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
JupyterEnterpriseGateway | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
JupyterHub | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Livy | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
MXNet | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Mahout | 0.11.0 | 0.11.0 | 0.11.0 | 0.10.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Oozie | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Oozie-Sandbox | 4.2.0 | 4.2.0 | 4.0.1 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Phoenix | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Pig | 0.14.0 | 0.14.0 | 0.14.0 | 0.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Presto | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Presto-Sandbox | 0.130 | 0.125 | 0.119 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Spark | 1.6.0 | 1.5.2 | 1.5.0 | 1.4.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sqoop | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sqoop-Sandbox | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
TensorFlow | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Tez | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Trino (PrestoSQL) | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zeppelin | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zeppelin-Sandbox | 0.5.5 | 0.5.5 | 0.6.0-SNAPSHOT | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ZooKeeper | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
ZooKeeper-Sandbox | - | - | - | - |
4.3.0 发行说明
以下发行说明包含 Amazon EMR 4.3.0 版本的信息。
发布日期:2016 年 1 月 19 日
功能
-
已升级到 Hadoop 2.7.1
-
已升级到 Spark 1.6.0
-
已将 Ganglia 升级到 3.7.2
-
已将 Presto 升级到 0.130
Amazon 对
spark.dynamicAllocation.enabled
何时设置为 true EMR 进行了一些更改;默认情况下设置为 false。如果设置为 true,则会影响由maximizeResourceAllocation
设置设定的默认值:-
若
spark.dynamicAllocation.enabled
设为 true,则spark.executor.instances
将不被maximizeResourceAllocation
设置。 -
目前,
spark.driver.memory
设置根据集群中的实例类型进行配置,与spark.executors.memory
设置的方式类似。但是,由于 Spark 驱动程序应用程序可以在主实例或其中一个核心实例上运行(例如,分别在YARN客户端和集群模式下),因此该spark.driver.memory
设置是根据这两个实例组之间较小实例类型的实例类型进行设置的。 -
现在,该
spark.default.parallelism
设置设置为YARN容器可用CPU内核数量的两倍。在上一版本中,这是该值的一半。 -
对为 Spark YARN 进程预留的内存开销的计算进行了调整,使其更加准确,从而使 Spark 可用的内存总量(即
spark.executor.memory
)略有增加。
-
早期版本中已解决的已知问题
-
YARN默认情况下,日志聚合现在处于启用状态。
-
修复了启用日志聚合后,无法将日志推送到集群的 Amazon S3 YARN 日志存储桶的问题。
-
YARN现在,在所有节点类型中,容器大小的最小值均为 32。
-
修复了与 Ganglia 有关的问题,此问题已导致大型集群中主节点上的磁盘 I/O 过多。
-
修复了在关闭集群时阻止应用程序日志推送至 Amazon S3 的问题。
-
修复了导致EMRFSCLI某些命令失败的问题。
-
修复了齐柏林飞艇无法在底层加载依赖项的问题。 SparkContext
-
修复了因发出尝试添加实例的调整大小命令导致的问题。
-
修复了 Hive 中出现的 AS 对 Amazon S3 SELECT 进行过多列表调用的问题。CREATE TABLE
-
修复了在安装 Hue、Oozie 和 Ganglia 时无法正常预置大型集群的问题。
-
修复了 s3-dist-cp 中的问题,此问题导致即使在失败并出现错误的情况下仍将返回零退出代码。
4.3.0 组件版本
下面列出了 Amazon 随此版本EMR安装的组件。一些组件作为大数据应用程序包的一部分安装。其他则是 Amazon 独有的EMR,是为系统流程和功能而安装的。它们通常以 emr
或 aws
开头。Amazon 最新EMR版本中的大数据应用程序包通常是社区中的最新版本。我们会EMR尽快在 Amazon 上发布社区版本。
Amazon 中的某些组件与社区版本EMR不同。这些组件具有以下形式的
的发行版标注。CommunityVersion
-amzn-EmrVersion
从 0 开始。例如,如果EmrVersion
myapp-component
以 2.2 版本命名的开源社区组件经过三次修改以包含在不同的 Amazon EMR 版本中,则其发布版本将列为2.2-amzn-2
。
组件 | 版本 | 描述 |
---|---|---|
emr-ddb | 3.0.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 |
emr-goodies | 2.0.0 | 适用于 Hadoop 生态系统的方便易用的库。 |
emr-kinesis | 3.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 |
emr-s3-dist-cp | 2.1.0 | 针对 Amazon S3 优化的分布式复制应用程序。 |
emrfs | 2.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 |
ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 |
ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 |
ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 |
hadoop-client | 2.7.1-amzn-0 | Hadoop 命令行客户端,如“hdfs”、“hadoop”或“yarn”。 |
hadoop-hdfs-datanode | 2.7.1-amzn-0 | HDFS用于存储区块的节点级服务。 |
hadoop-hdfs-library | 2.7.1-amzn-0 | HDFS命令行客户端和库 |
hadoop-hdfs-namenode | 2.7.1-amzn-0 | HDFS用于跟踪文件名和区块位置的服务。 |
hadoop-httpfs-server | 2.7.1-amzn-0 | HTTPHDFS操作端点。 |
hadoop-kms-server | 2.7.1-amzn-0 | 基于 Hadoop 的加密密钥管理服务器。 KeyProvider API |
hadoop-mapred | 2.7.1-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 |
hadoop-yarn-nodemanager | 2.7.1-amzn-0 | YARN用于管理单个节点上的容器的服务。 |
hadoop-yarn-resourcemanager | 2.7.1-amzn-0 | YARN用于分配和管理群集资源和分布式应用程序的服务。 |
hive-client | 1.0.0-amzn-2 | Hive 命令行客户端。 |
hive-metastore-server | 1.0.0-amzn-2 | 用于访问 Hive 元数据仓的服务,Hive 元存储库是一个语义存储库,用于存储 Hadoop 操作的SQL元数据。 |
hive-server | 1.0.0-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 |
hue-server | 3.7.1-amzn-5 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 |
mahout-client | 0.11.0 | 用于机器学习的库。 |
mysql-server | 5.5 | 我的SQL数据库服务器。 |
oozie-client | 4.2.0 | Oozie 命令行客户端。 |
oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 |
presto-coordinator | 0.130 | 用于在 presto-worker 之中接受查询并管理查询的服务。 |
presto-worker | 0.130 | 用于执行查询的各个部分的服务。 |
pig-client | 0.14.0-amzn-0 | Pig 命令行客户端。 |
spark-client | 1.6.0 | Spark 命令行客户端。 |
spark-history-server | 1.6.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 |
spark-on-yarn | 1.6.0 | 的内存中执行引擎。YARN |
spark-yarn-slave | 1.6.0 | YARN从属服务器需要的 Apache Spark 库。 |
webserver | 2.4 | Apache HTTP 服务器。 |
zeppelin-server | 0.5.5-incubating-amzn-1 | 支持交互式数据分析的基于 Web 的笔记本电脑。 |
4.3.0 配置分类
配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如hive-site.xml
。有关更多信息,请参阅 配置应用程序。
emr-4.3.0 分类 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
分类 | 描述 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emrfs-site | 更改EMRFS设置。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hdfs-encryption-zones | 配置HDFS加密区域。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hdfs-site | 更改 hdfs-site.xml HDFS 中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-env | 更改 Hive 环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-exec-log4j | 更改 Hive 的 hive-exec-log 4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-log4j | 更改 Hive 的 hive-log4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hue-ini | 更改 Hue 的 ini 文件中的值 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
httpfs-env | 更改HTTPFS环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-kms-env | 在 Hadoop KMS 环境中更改值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
mapred-env | 更改 MapReduce 应用程序环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
oozie-env | 更改 Oozie 的环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
presto-log | 更改 Presto 的 log.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
presto-config | 更改 Presto 的 config.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark | 亚马逊EMR精心策划的 Apache Spark 设置。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-env | 更改 Spark 环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
yarn-env | 更改YARN环境中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
yarn-site | 更改YARN的 yarn-site.xml 文件中的值。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
zeppelin-env | 更改 Zeppelin 环境中的值。 |