Amazon EMR 6.10.0 – Tez 发布说明 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon EMR 6.10.0 – Tez 发布说明

Amazon EMR 6.10.0 – Tez 更改

类型 说明
功能 默认情况下启用 tez.runtime.transfer.data-via-events.enabled
逆向移植 TEZ-4450:修复通过数据移动事件传输随机数据时随机数据获取失败的问题
逆向移植 TEZ-4460:修复从 Tez Shuffle Handler 获取随机数据时出现的读取超时错误
逆向移植 TEZ-4455:添加 ShuffleHandler管道 LoggingHandler 以获得更好的可调试性
错误 修复启用了抢占任务后 Tez 任务间歇性卡住的问题

亚马逊 EMR 6.10.0-Tez 已知问题

  • 在 Tez 上运行的 Hive 作业 — 在运行 EMR 版本 6.9.0 的启用 SSL 的集群中,存在一个已知问题,即在 Tez 上运行的 Hive 作业因异常而失败。SSLHandshake这与开源问题 TEZ-4096 有关,该问题是在 EMR 6.9.0 的 Tez 升级到 0.10.2 版本时引入的。该问题要求从客户端 (Hive) 传递与 SSL 相关的配置。

    修复版本:— EMR 6.10.0

    版本 6.9 的解决方法-将以下 SSL 配置添加到 tez-site.xml:

    <property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>
  • 在 Tez 上运行的 Pig 作业 — 在启用 SSL 且运行 EMR 版本 6.9.0 至 7.0.0 的集群中,存在一个已知问题,即在 Tez 上运行的 Pig 作业因异常而失败。SSLHandshake这与开源问题 TEZ-4096 有关,该问题是在 EMR 6.9.0 的 Tez 升级到 0.10.2 版本时引入的。该问题要求从客户端 (Pig) 传递与 SSL 相关的配置。

    修复版本:— EMR 7.1.0

    解决方法-将以下 SSL 配置添加到 tez-site.xml:

    <property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>