最新消息 - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

最新消息

本主题介绍 Amazon EMR 6.x 系列和 5.x 系列的当前发布版本中的功能和已解决的问题。发布版本 6.0.0 选项卡发布版本 5.29.0 选项卡上也提供了这些发布说明,以及应用程序版本、组件版本和此发布版本的可用配置分类。

https://docs.amazonaws.cn/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss 订阅 Amazon EMR 发行说明的 RSS 源,以便在有新的 Amazon EMR 发布版本可用时接收更新。

有关回到发布版本 4.2.0 的早期版本发布说明,请参阅Amazon EMR 新增功能历史记录

注意

早期的 25 个 Amazon EMR 发布版本现在使用 AWS 签名版本 4 对发送到 Amazon S3 的请求进行身份验证。AWS 签名版本 2 正在淘汰,在 2020 年 6 月 24 日后创建的新 S3 存储桶将不支持签名版本 2 签名的请求。现有存储桶将会继续支持签名版本 2。我们建议您迁移到支持签名版本 4 的 Amazon EMR 版本,这样您可以继续访问新的 S3 存储桶,避免工作负载中断。

现在提供支持签名版本 4 的以下 EMR 版本:emr-4.7.4、emr-4.8.5、emr-4.9.6、emr-4.10.1、emr-5.1.1、emr-5.2.3、emr -5.3.2、emr-5.4.1、emr-5.5.4、emr-5.6.1、emr-5.7.1、emr-5.8.3、emr-5.9.1、emr-5.10.1、emr-5.11 .4、emr-5.12.3、emr-5.13.1、emr-5.14.2、emr-5.15.1、emr-5.16.1、emr-5.17.2、emr-5.18.1、emr-5.19.1、emr-5.20.1 和 emr-5.21.2。EMR 版本 5.22.0 及更高版本已支持签名版本 4。

如果您使用的是诸如 Apache Spark、Apache Hive、Presto 之类的 Amazon EMR 应用程序,则无需更改您的应用程序代码,即可使用签名版本 4。如果您使用的是 Amazon EMR 中未包含的自定义应用程序,则可能需要更新代码,才能使用签名版本 4。有关可能需要哪些更新的更多信息,请参阅从签名版本 2 转向签名版本 4

发布版本 6.0.0(Amazon EMR 6.x 系列的最新版本)

New Amazon EMR release versions are made available in different regions over a period of several days, beginning with the first region on the initial release date. The latest release version may not be available in your region during this period.

以下发布说明包括有关 Amazon EMR 发布版本 6.0.0 的信息。

首次发布日期:2020 年 3 月 10 日

支持的应用程序

  • AWS SDK for Java 版本 1.11.711

  • Ganglia 版本 3.7.2

  • Hadoop 版本 3.2.1

  • HBase 版本 2.2.3

  • HCatalog 版本 3.1.2

  • Hive 版本 3.1.2

  • Hudi 版本 0.5.0-incubating

  • Hue 版本 4.4.0

  • JupyterHub 版本 1.0.0

  • Livy 版本 0.6.0

  • MXNet 版本 1.5.1

  • Oozie 版本 5.1.0

  • Phoenix 版本 5.0.0

  • Presto 版本 0.230

  • Spark 版本 2.4.4

  • TensorFlow 版本 1.14.0

  • Zeppelin 版本 0.9.0-SNAPSHOT

  • Zookeeper 版本 3.4.14

  • 连接器和驱动程序:DynamoDB 连接器 4.14.0

注意

Flink、Sqoop、Pig 和 Mahout 在 Amazon EMR 版本 6.0.0 中不可用。

新功能

更改、增强和解决的问题

  • Amazon Linux

    • Amazon Linux 2 是 EMR 6.x 发布版本系列的操作系统。

    • systemd 用于服务管理,而不是 Amazon Linux 1 中使用的 upstart

  • Java 开发工具包 (JDK)

    • Coretto JDK 8 是 EMR 6.x 发布版本系列的默认 JDK。

  • Scala

    • Scala 2.12 与 Apache Spark 和 Apache Livy 一起使用。

  • Python 3

    • Python 3 现在是 EMR 中的默认 Python 版本。

  • YARN 节点标签

    • 从 Amazon EMR 6.x 发布版本系列开始,默认情况下禁用 YARN 节点标签功能。默认情况下,应用程序主进程可以在核心节点和任务节点上运行。您可以通过配置以下属性来启用 YARN 节点标签功能:yarn.node-labels.enabledyarn.node-labels.am.default-node-label-expression。有关更多信息,请参阅了解主节点、核心节点和任务节点

已知问题

  • Spark 交互式 shell(包括 PySpark、SparkR 和 spark-shell)不支持将 Docker 与其他库一起使用。

发布版本 5.29.0(Amazon EMR 5.x 系列的最新版本)

New Amazon EMR release versions are made available in different regions over a period of several days, beginning with the first region on the initial release date. The latest release version may not be available in your region during this period.