Amazon EMR 6.14.0 – Tez 发布说明

Tez 上运行的 Pig 作业 – 在已启用 SSL 且运行 EMR 版本 6.9.0 至 7.0.0 的集群中，存在一个已知问题，即 Tez 上运行的 Pig 作业因 SSLHandshakeException 而失败。这与开源问题 TEZ-4096 有关，该问题是在 EMR 6.9.0 中将 Tez 升级到 0.10.2 版本时引入的。该问题需要从客户端 (Pig) 传递与 SSL 相关的配置。

修复版本：– EMR 7.1.0

解决方法 - 将以下 SSL 配置添加到 tez-site.xml：

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Tez DAG 清理问题 (EMR 6.11.0 - EMR 7.2.0) – 在启用 SSL 且运行 EMR 版本 6.11.0 至 7.2.0 的集群中，存在一个已知问题，即在 DAG 清理阶段，TEZ Application Master (AM) 中会发生 SSLHandshakeException。在查询完成后（而不是在查询执行期间）尝试通过 HTTPS 从远程节点删除中间随机排序数据时，会发生这种情况。出现此问题的原因是 Tez AM 在调用随机排序处理程序服务端点时无法读取相关的 trustStore 配置。然而，这只会影响 DAG 清理期间随机排序数据的清理，应用程序 (AM) 级别的清理无论如何都会进行，并清理任何残留的随机排序数据。因此，这不会导致随机排序数据积累。

修复版本：– EMR 7.3.0

解决方法 - 将以下 SSL 配置添加到 tez-site.xml：

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>