Amazon EMR 6.13.0 – Tez 发布说明 - Amazon EMR
Tez 更改
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 6.13.0 – Tez 发布说明

Amazon EMR 6.13.0 – Tez 更改

类型 说明
错误修复 恢复 TEZ-4295：无法解压缩数据。缓冲区长度太小。
错误修复 恢复 TEZ-4302：CodecUtils 中的 NullPointerException，具有 GzipCodec。
错误修复 恢复 TEZ-4234：压缩机可能导致 Buffer.limit 中的 IllegalArgumentException，其中限制超过容量。
错误修复 恢复 TEZ-4135：在执行内存中读取时改善内存分配。

亚马逊 EMR 6.13.0-Tez 已知问题

  • 在 Tez 上运行的 Pig 作业 — 在启用 SSL 且运行 EMR 版本 6.9.0 至 7.0.0 的集群中，存在一个已知问题，即在 Tez 上运行的 Pig 作业因异常而失败。SSLHandshake这与开源问题 TEZ-4096 有关，该问题是在 EMR 6.9.0 的 Tez 升级到 0.10.2 版本时引入的。该问题要求从客户端 (Pig) 传递与 SSL 相关的配置。

    修复版本：— EMR 7.1.0

    解决方法-将以下 SSL 配置添加到 tez-site.xml：

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Tez DAG 清理问题（EMR 6.11.0-EMR 7.2.0）— 在运行 EMR 6.11.0 至 7.2. 0 版本的启用 SSL 的集群中，存在一个已知问题，即 DAG 清理阶段在 TEZ 应用程序主服务器 (AM) 中出现SSLHandshake异常。在查询完成后（而不是在查询执行期间）尝试通过 HTTPS 从远程节点删除中间随机数据时，会发生这种情况。之所以出现此问题，是因为 Tez AM 在调用 shuffle 处理程序服务端点时无法读取相关的 TrustStor e 配置。但是，这仅影响在 DAG 清理期间清理随机播放数据，无论如何都会进行应用程序 (AM) 级别的清理，并清理所有挥之不去的随机数据。因此，这不会导致随机数据积累。

    修复版本：— EMR 7.3.0

    解决方法-将以下 SSL 配置添加到 tez-site.xml：

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>