使用 CLI 启动与 Lake Formation 集成的 Amazon EMR 集群

以下过程演示了如何启动 Amazon EMR 集群，其中带有与 AWS Lake Formation 集成的 Zeppelin。

1. 为安全配置创建一个 security-configuration.json 文件，其中包含以下内容。

   • 指定在 S3 中上传的 IdP 元数据文件的完整路径。

   • 将 account-id 替换为您的 AWS 账户 ID。

   • 为 TicketLifetimeInHours 指定一个值，用于确定 KDC 发放的 Kerberos 票证的有效期间。

   {
       "LakeFormationConfiguration": {
           "IdpMetadataS3Path": "s3://mybucket/myfolder/idpmetadata.xml",
           "EmrRoleForUsersARN": "arn:aws:iam::account-id:role/IAM_Role_For_AWS_Services",
           "LakeFormationRoleForSAMLPrincipalARN": "arn:aws:iam::account-id:role/IAM_Role_For_Lake_Formation"
       },
       "AuthenticationConfiguration": {
           "KerberosConfiguration": {
               "Provider": "ClusterDedicatedKdc",
               "ClusterDedicatedKdcConfiguration": {
                   "TicketLifetimeInHours": 24
               }
           }
       }
   }					

2. 运行以下命令以创建安全配置。

   aws emr create-security-configuration \
   --security-configuration file://./security-configuration.json \
   --name security-configuration

3. 创建配置 Hive Metastore 的 configurations.json 文件。

   [
       {
           "Classification": "spark-hive-site",
           "Properties": {
               "hive.metastore.glue.catalogid": "account-id"
           }
       }
   ]

4. 运行以下命令来启动 Amazon EMR 集群。

   • 将 subnet-00xxxxxxxxxxxxx11 替换为您的子网 ID。

   • 将 EC2_KEY_PAIR 替换为您用于此集群的 EC2 密钥对的名称。EC2 密钥对是可选的，仅当您希望使用 SSH 访问集群时是必需的。

   • 将 cluster-name 替换为您集群的名称。

   aws emr create-cluster --region us-east-1 \
   --release-label emr-5.26.0 \
   --use-default-roles \
   --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.xlarge \
   InstanceGroupType=CORE,InstanceCount=1,InstanceType=m4.xlarge \
   --applications Name=Zeppelin Name=Livy \
   --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=MyClusterKDCAdminPassword \
   --configurations file://confugurations.json \
   --ec2-attributes KeyName=EC2_KEY_PAIR,SubnetId=subnet-00xxxxxxxxxxxxx11 \
   --security-configuration security-configuration \
   --name cluster-name