配置 Tez - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

配置 Tez

您可以使用 tez-site 配置分类,配置中的设置 tez-site.xml 配置文件。有关更多信息,请参阅 TezConfiguration ApacheTez文档中的。要更改Hive或Pig以使用Tez执行引擎,请使用 hive-sitepig-properties 配置分类。示例如下。

例 示例:自定义Tez根记录级别和设置Tez作为Hive和Pig的执行引擎

示例 create-cluster 如下所示的命令创建一个安装了Tez、Hive和Pig的群集。该命令引用存储在 Amazon S3 中的 myConfig.json 文件,该文件为 tez-site 分类指定将 tez.am.log.level 设置为 DEBUG 并将执行引擎设置为 Tez 的属性,以便 Hive 和 Pig 使用 hive-sitepig-properties 配置分类。

注意

包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

aws emr create-cluster --release-label emr-5.31.0 \ --applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \ --instance-type m5.xlarge --instance-count 3 \ --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

下面显示的是 myConfig.json 的内容示例。

[ { "Classification": "tez-site", "Properties": { "tez.am.log.level": "DEBUG" } }, { "Classification": "hive-site", "Properties": { "hive.execution.engine": "tez" } }, { "Classification": "pig-properties", "Properties": { "exectype": "tez" } } ]
注意

使用 Amazon EMR 版本 5.21.0 以及更高版本,您可以覆盖集群配置,并为运行的集群中的每个实例组指定更多配置分类。您可以使用 Amazon EMR 控制台、AWS Command Line Interface (AWS CLI) 或 AWS 开发工具包来实现此操作。有关更多信息,请参阅为正在运行的实例中的实例组提供配置