Amazon EMR 6.15.0 - Tez 发布说明 - Amazon EMR
Tez 更改Tez 功能
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 6.15.0 - Tez 发布说明

Amazon EMR 6.15.0 - Tez 更改

Type 说明
功能 TEZ-4397：异步打开 Tez 输入拆分
升级 TEZ-4493：将 Apache Hadoop 升级到 3.3.6

Amazon EMR 6.15.0 - Tez 已知问题

  • 在 Tez 上运行的 Pig 作业 — 在启用 SSL 且运行 EMR 版本 6.9.0 至 7.0.0 的集群中，存在一个已知问题，即在 Tez 上运行的 Pig 作业因异常而失败。SSLHandshake这与开源问题 TEZ-4096 有关，该问题是在 EMR 6.9.0 中将 Tez 升级到 0.10.2 版本时引入的。该问题需要从客户端 (Pig) 传递与 SSL 相关的配置。

    修复版本：– EMR 7.1.0

    解决方法 - 将以下 SSL 配置添加到 tez-site.xml：

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Tez DAG 清理问题（EMR 6.11.0-EMR 7.2.0）— 在运行 EMR 6.11.0 至 7.2. 0 版本的启用 SSL 的集群中，存在一个已知问题，即 DAG 清理阶段在 TEZ 应用程序主服务器 (AM) 中出现SSLHandshake异常。在查询完成后（而不是在查询执行期间）尝试通过 HTTPS 从远程节点删除中间随机排序数据时，会发生这种情况。出现此问题的原因是 Tez AM 在调用随机排序处理程序服务端点时无法读取相关的 trustStore 配置。然而，这只会影响 DAG 清理期间随机排序数据的清理，应用程序 (AM) 级别的清理无论如何都会进行，并清理任何残留的随机排序数据。因此，这不会导致随机排序数据积累。

    修复版本：– EMR 7.3.0

    解决方法 - 将以下 SSL 配置添加到 tez-site.xml：

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Amazon EMR 6.15.0 - Tez 功能

  • Tez 异步拆分打开 – Amazon EMR 6.15.0 引入了配置，您可以指定这些配置来异步打开 Tez 分组拆分中的输入拆分。该功能由 TEZ-4397 启动，但在 OSS Hive 中出现了回归。Amazon EMR Hive 修复了 Hive ACID 表中的回归和其他漏洞。当单个 Tez 分组拆分中有大量输入拆分时，此改进可以提高读取查询的性能。有关更多信息，请参阅 Tez 异步拆分打开。