本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon EMR 发行版 4.4.0
4.4.0 应用程序版本
此版本支持以下应用程序:Ganglia
下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本(若适用)。
有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录,请参见以下主题:
emr-4.4.0 | emr-4.3.0 | emr-4.2.0 | emr-4.1.0 | |
---|---|---|---|---|
Amazon 适用于 Java 的 SDK | 1.10.27 | 1.10.27 | 1.10.27 | 未跟踪 |
Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 |
Scala | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 |
AmazonCloudWatchAgent | - | - | - | - |
Delta | - | - | - | - |
Flink | - | - | - | - |
Ganglia | 3.7.2 | 3.7.2 | 3.6.0 | - |
HBase | - | - | - | - |
HCatalog | 1.0.0 | - | - | - |
Hadoop | 2.7.1 | 2.7.1 | 2.6.0 | 2.6.0 |
Hive | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
Hudi | - | - | - | - |
Hue | 3.7.1 | 3.7.1 | 3.7.1 | 3.7.1 |
Iceberg | - | - | - | - |
JupyterEnterpriseGateway | - | - | - | - |
JupyterHub | - | - | - | - |
Livy | - | - | - | - |
MXNet | - | - | - | - |
Mahout | 0.11.1 | 0.11.0 | 0.11.0 | 0.11.0 |
Oozie | - | - | - | - |
Oozie-Sandbox | 4.2.0 | 4.2.0 | 4.2.0 | 4.0.1 |
Phoenix | - | - | - | - |
Pig | 0.14.0 | 0.14.0 | 0.14.0 | 0.14.0 |
Presto | - | - | - | - |
Presto-Sandbox | 0.136 | 0.130 | 0.125 | 0.119 |
Spark | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.0 |
Sqoop | - | - | - | - |
Sqoop-Sandbox | 1.4.6 | - | - | - |
TensorFlow | - | - | - | - |
Tez | - | - | - | - |
Trino (prestoSQL) | - | - | - | - |
Zeppelin | - | - | - | - |
Zeppelin-Sandbox | 0.5.6 | 0.5.5 | 0.5.5 | 0.6.0-SNAPSHOT |
ZooKeeper | - | - | - | - |
ZooKeeper-沙箱 | - | - | - | - |
4.4.0 发布说明
以下发布说明包括有关 Amazon EMR 发行版 4.4.0 的信息。
发布日期:2016 年 3 月 14 日
特征
-
已添加 HCatalog 1.0.0
-
已添加 Sqoop-Sandbox 1.4.6
-
已升级到 Presto 0.136
-
已升级到 Zeppelin 0.5.6
-
已升级到 Mahout 0.11.1
-
默认情况下已启用
dynamicResourceAllocation
。 -
已添加针对此版本的所有配置分类的表。有关更多信息,请参阅配置应用程序中的“配置分类”表。
早期版本中已解决的已知问题
-
修复了该
maximizeResourceAllocation
设置无法为 YARN ApplicationMaster 守护程序保留足够内存的问题。 -
修复了遇到的与自定义 DNS 相关的问题。如果
resolve.conf
中的任何条目位于提供的自定义条目之前,则自定义条目不可解析。此行为受 VPC 中集群的影响,其中,默认 VPC 名称服务器已作为顶部条目插入resolve.conf
中。 -
修复了默认 Python 已移至版本 2.7 且未为该版本安装 boto 的问题。
-
修复了 YARN 容器和 Spark 应用程序将生成唯一 Ganglia 轮询数据库 (rrd) 文件的问题,此问题会导致第一个附加到实例的磁盘填满。修复后,YARN 容器级别指标和 Spark 应用程序级别指标均已禁用。
-
修复了导致日志推送程序中删除所有空日志文件夹的问题。这会造成 Hive CLI 无法记录日志,因为日志推送程序已删除
user
下的/var/log/hive
空文件夹。 -
修复了影响 Hive 导入的问题,此问题影响分区并导致导入期间出现错误。
-
修复了 EMRFS 和 s3-dist-cp 未正确处理包含句点的存储桶名称的问题。
-
更改了 EMRFS 中的行为,以便在启用版本控制的存储桶中,不会持续创建
_$folder$
标记文件,从而有助于提高启用版本控制的存储桶的性能。 -
更改了 EMRFS 中的行为,使它不会使用说明文件,已启用客户端加密的情况除外。如果您要在使用客户端加密时删除说明文件,可将 emrfs-site.xml 属性
fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled
设置为 true。 -
更改了 YARN 日志聚合以在聚合目标中将日志保留两天。默认目标为您的集群的 HDFS 存储。如果您要更改此持续时间,请在创建集群时使用
yarn.log-aggregation.retain-seconds
配置分类来更改yarn-site
的值。与往常一样,您可以在创建集群时使用log-uri
参数将应用程序日志保存到 Amazon S3。
已应用的修补程序
4.4.0 组件版本
下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的,并且已为系统流程和功能安装这些组件。它们通常以 emr
或 aws
开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。
Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的
的发行版标注。CommunityVersion
-amzn-EmrVersion
从 0 开始。例如,假设已对名为 EmrVersion
myapp-component
的版本 2.2 的开源社区组件进行三次修改,以包含在不同的 Amazon EMR 发行版中,则其发行版将为 2.2-amzn-2
。
组件 | 版本 | 描述 |
---|---|---|
emr-ddb | 3.0.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 |
emr-goodies | 2.0.0 | 适用于 Hadoop 生态系统的方便易用的库。 |
emr-kinesis | 3.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 |
emr-s3-dist-cp | 2.2.0 | 针对 Amazon S3 优化的分布式复制应用程序。 |
emrfs | 2.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 |
ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 |
ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 |
ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 |
hadoop-client | 2.7.1-amzn-1 | Hadoop 命令行客户端,如“hdfs”、“hadoop”或“yarn”。 |
hadoop-hdfs-datanode | 2.7.1-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 |
hadoop-hdfs-library | 2.7.1-amzn-1 | HDFS 命令行客户端和库 |
hadoop-hdfs-namenode | 2.7.1-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 |
hadoop-httpfs-server | 2.7.1-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 |
hadoop-kms-server | 2.7.1-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider |
hadoop-mapred | 2.7.1-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 |
hadoop-yarn-nodemanager | 2.7.1-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 |
hadoop-yarn-resourcemanager | 2.7.1-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 |
hcatalog-client | 1.0.0-amzn-3 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 |
hcatalog-server | 1.0.0-amzn-3 | 提供服务 HCatalog,为分布式应用程序提供表和存储管理层。 |
hcatalog-webhcat-server | 1.0.0-amzn-3 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 |
hive-client | 1.0.0-amzn-3 | Hive 命令行客户端。 |
hive-metastore-server | 1.0.0-amzn-3 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 |
hive-server | 1.0.0-amzn-3 | 用于将 Hive 查询作为 Web 请求接受的服务。 |
hue-server | 3.7.1-amzn-5 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 |
mahout-client | 0.11.1 | 用于机器学习的库。 |
mysql-server | 5.5 | MySQL 数据库服务器。 |
oozie-client | 4.2.0 | Oozie 命令行客户端。 |
oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 |
presto-coordinator | 0.136 | 用于在 presto-worker 之中接受查询并管理查询的服务。 |
presto-worker | 0.136 | 用于执行查询的各个部分的服务。 |
pig-client | 0.14.0-amzn-0 | Pig 命令行客户端。 |
spark-client | 1.6.0 | Spark 命令行客户端。 |
spark-history-server | 1.6.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 |
spark-on-yarn | 1.6.0 | 适用于 YARN 的内存中执行引擎。 |
spark-yarn-slave | 1.6.0 | YARN 从属项所需的 Apache Spark 库。 |
sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 |
webserver | 2.4 | Apache HTTP 服务器。 |
zeppelin-server | 0.5.6-incubating | 支持交互式数据分析的基于 Web 的 Notebook。 |
4.4.0 配置分类
配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件(例如 hive-site.xml
)相对应。有关更多信息,请参阅配置应用程序。
分类 | 描述 |
---|---|
capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 |
core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 |
emrfs-site | 更改 EMRFS 设置。 |
hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 |
hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 |
hdfs-encryption-zones | 配置 HDFS 加密区域。 |
hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 |
hcatalog-env | 更改环境 HCatalog中的值。 |
hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 |
hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 |
hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 |
hcatalog-webhcat-log4j | 更改 HCatalog Web HCat 的 log4j.properties 中的值。 |
hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 |
hive-env | 更改 Hive 环境中的值。 |
hive-exec-log4j | 更改 Hive 的 hive-exec-log 4j.properties 文件中的值。 |
hive-log4j | 更改 Hive 的 hive-log4j.properties 文件中的值。 |
hive-site | 更改 Hive 的 hive-site.xml 文件中的值 |
hue-ini | 更改 Hue 的 ini 文件中的值 |
httpfs-env | 更改 HTTPFS 环境中的值。 |
httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 |
hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 |
hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 |
hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 |
hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 |
mapred-env | 更改 MapReduce 应用程序环境中的值。 |
mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 |
oozie-env | 更改 Oozie 的环境中的值。 |
oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 |
oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 |
pig-properties | 更改 Pig 的 pig.properties 文件中的值。 |
pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 |
presto-log | 更改 Presto 的 log.properties 文件中的值。 |
presto-config | 更改 Presto 的 config.properties 文件中的值。 |
presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 |
spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 |
spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 |
spark-env | 更改 Spark 环境中的值。 |
spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 |
spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 |
sqoop-env | 更改 Sqoop 的环境中的值。 |
sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 |
sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 |
yarn-env | 更改 YARN 环境中的值。 |
yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 |
zeppelin-env | 更改 Zeppelin 环境中的值。 |