Amazon EMR
Amazon EMR 版本指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

配置 Tez

您可以使用 tez-site 配置分类(配置 tez-site.xml 配置文件中的设置)设置值以自定义 Tez。有关更多信息,请参阅 Apache Tez 文档中的 TezConfiguration。要将 Hive 或 Pig 更改为使用 Tez 执行引擎,请根据需要使用 hive-sitepig-properties 配置分类。示例如下。

例 示例:自定义 Tez 根日志记录级别并将 Tez 设置为 Hive 和 Pig 的执行引擎

下面显示的 create-cluster 命令将创建一个安装了 Tez、Hive 和 Pig 的集群。该命令引用存储在 Amazon S3 中的 myConfig.json 文件,该文件为 tez-site 分类指定将 tez.am.log.level 设置为 DEBUG 并将执行引擎设置为 Tez 的属性,以便 Hive 和 Pig 使用 hive-sitepig-properties 配置分类。

注意

包含了 Linux 行继续符 (\) 以提高可读性。可以在 Linux 命令中删除或使用它们。对于 Windows,请删除它们或将其替换为脱字号 (^)。

aws emr create-cluster --release-label emr-5.25.0 \ --applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \ --instance-type m4.large --instance-count 3 \ --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

下面显示的是 myConfig.json 的内容示例。

[ { "Classification": "tez-site", "Properties": { "tez.am.log.level": "DEBUG" } }, { "Classification": "hive-site", "Properties": { "hive.execution.engine": "tez" } }, { "Classification": "pig-properties", "Properties": { "exectype": "tez" } } ]

注意

使用 Amazon EMR 版本 5.21.0 以及更高版本,您可以覆盖集群配置,并为运行的集群中的每个实例组指定更多配置分类。您可以使用 Amazon EMR 控制台、AWS Command Line Interface (AWS CLI) 或 AWS 开发工具包来实现此操作。有关更多信息,请参阅为正在运行的实例中的实例组提供配置