Apache Hadoop - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Apache Hadoop

Apache Hadoop 是一种开源 Java 软件框架,支持跨越实例集群处理大量数据。它可在单个实例或数千个实例上运行。Hadoop 使用各种处理模型 (如 MapReduce 和 Tez) 在多个实例间分配处理,并使用名为 HDFS 的分布式文件系统在多个实例间存储数据。Hadoop 监控群集中实例的运行状况,并且可以从一个或多个节点的故障中恢复。通过这种方式,Hadoop 可以提供更大的处理和存储容量以及高可用性。

有关更多信息,请参阅http://hadoop.apache.org

下表列出了 Amazon EMR 6.x 系列的最新发布版本附带的 Hadoop 的版本,以及 Amazon EMR 随 Hadoop 一起安装的组件。

有关随此发布版本中的 Hadoop 一起安装的组件的版本,请参阅发布版本 6.1.0 组件版本

Hadoop emr-6.1.0的版本信息
Amazon EMR 发布版本标签 Hadoop 版本 随 Hadoop 安装的组件

emr-6.1.0

Harpado3.2.1

emrfs、emr-ddb、emr-goodies、emr-kinesis、emr-s3-dist-cp、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-mapred、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server

下表列出了 Amazon EMR 5.x 系列的最新发布版本附带的 Hadoop 的版本,以及 Amazon EMR 随 Hadoop 一起安装的组件。

有关随此发布版本中的 Hadoop 一起安装的组件的版本,请参阅发布版本 5.31.0 组件版本

Hadoop emr-5.31.0的版本信息
Amazon EMR 发布版本标签 Hadoop 版本 随 Hadoop 安装的组件

另出动-5.31.0

Hadoop2.10.0(Hadoop2.10.0)

emrfs、emr-ddb、emr-goodies、emr-kinesis、emr-s3-dist-cp、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-mapred、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server

从 Amazon EMR 5.18.0 开始,您可以使用 Amazon EMR 项目存储库构建针对特定 Amazon EMR 发布版附带的准确版本的库和依赖项的任务代码。有关更多信息,请参阅使用 Amazon EMR 项目存储库检查依赖项