Amazon EMR 7.2.0:Tez 发布说明
Amazon EMR 7.2.0:Tez 更改
| 类型 | 描述 |
|---|---|
| 改进 | 提供了在请求任务容器时禁用局部性约束的选项。 |
| 错误修复 | 使 TaskDependencies#addTaskDependency 线程更安全 |
| Upgrade | 将 Tez 的 TLS 版本升级到 1.3。 |
Amazon EMR 7.2.0 - 新配置
| 分类 | 名称 | 默认值 | 描述 |
|---|---|---|---|
tez-site |
tez.task.relaxed.locality |
false |
启用后,在请求任务容器时不会考虑机架和节点局部性约束。 |
Amazon EMR 7.2.0 - Tez 已知问题
Tez DAG 清理问题 (EMR 6.11.0 - EMR 7.2.0) – 在启用 SSL 且运行 EMR 版本 6.11.0 至 7.2.0 的集群中,存在一个已知问题,即在 DAG 清理阶段,TEZ Application Master (AM) 中会发生 SSLHandshakeException。在查询完成后(而不是在查询执行期间)尝试通过 HTTPS 从远程节点删除中间随机排序数据时,会发生这种情况。出现此问题的原因是 Tez AM 在调用随机排序处理程序服务端点时无法读取相关的 trustStore 配置。然而,这只会影响 DAG 清理期间随机排序数据的清理,应用程序 (AM) 级别的清理无论如何都会进行,并清理任何残留的随机排序数据。因此,这不会导致随机排序数据积累。
修复版本:– EMR 7.3.0
解决方法 - 将以下 SSL 配置添加到 tez-site.xml:
<property> <name>ssl.client.truststore.location</name> <value>{SSL_TRUSTSTORE_LOCATION}</value> </property>