配置 Tez

下面显示的 create-cluster 命令将创建一个安装了 Tez、Hive 和 Pig 的集群。该命令引用存储在 Amazon S3 中的文件 myConfig.json，该文件为将 tez.am.log.level 设置为 DEBUG 的 tez-site 分类指定属性，以及将执行引擎设置为 Tez，以便 Hive 和 Pig 使用 hive-site 和 pig-properties 配置分类。

aws emr create-cluster --release-label emr-7.1.0 \
--applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \
--instance-type m5.xlarge --instance-count 3 \
--configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

下面显示的是 myConfig.json 的内容示例。

[
    {
      "Classification": "tez-site",
      "Properties": {
        "tez.am.log.level": "DEBUG"
      }
    },
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.execution.engine": "tez"
      }
    },
    {
      "Classification": "pig-properties",
      "Properties": {
        "exectype": "tez"
      }
    }
  ]