Amazon EMR
管理指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

教程:配置集群专用的 KDC

本主题引导您创建具有集群专用 KDC 的集群,手动将 Linux 用户账户添加到所有集群节点,将 Kerberos 委托人添加到主节点上的 KDC 并确保客户端计算机已安装 Kerberos 客户端。

步骤 1:创建使用 Kerberos 的集群

  1. 创建启用 Kerberos 的安全配置。以下示例演示使用 AWS CLI 将安全配置指定为内联 JSON 结构的 create-security-configuration 命令。您也可以引用本地保存的文件。

    aws emr create-security-configuration --name MyKerberosConfig \ --security-configuration '{"AuthenticationConfiguration": {"KerberosConfiguration": \ {"Provider": "ClusterDedicatedKdc", "ClusterDedicatedKdcConfiguration": {"TicketLifetimeInHours": 24}}}}}'
  2. 创建引用安全配置、指定集群的 Kerberos 属性并使用引导操作添加 Linux 账户的集群。以下示例演示使用 AWS CLI 的 create-cluster 命令。此命令引用您在上面创建的安全配置 MyKerberosConfig。它还引用一个简单脚本 createlinuxusers.sh 作为引导操作,这是您在创建集群之前创建并上传到 Amazon S3 的脚本。

    aws emr create-cluster --name "MyKerberosCluster" \ --release-label emr-5.23.0 \ --instance-type m4.large \ --instance-count 3 \ --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole,KeyName=MyEC2KeyPair \ --service-role EMR_DefaultRole \ --security-configuration MyKerberosConfig\ --applications Name=Hadoop Name=Hive Name=Oozie Name=Hue Name=HCatalog Name=Spark \ --kerberos-attributes Realm=EC2.INTERNAL,\ KdcAdminPassword=MyClusterKDCAdminPwd \ --bootstrap-actions Path=s3://mybucket/createlinuxusers.sh

    以下示例演示了 createlinuxusers.sh 脚本的内容,它将 user1、user2 和 user3 添加到集群中的每个节点。在下一个步骤中,您将这些用户添加为 KDC 委托人。

    #!/bin/bash sudo adduser user1 sudo adduser user2 sudo adduser user3

步骤 2:将委托人添加到 KDC、创建 HDFS 用户目录并配置 SSH

主节点上运行的 KDC 需要为本地主机和您在集群上创建的每个用户添加委托人。您还可以为每个用户创建 HDFS 目录 (如果他们需要连接到集群并运行 Hadoop 任务)。同样,配置 SSH 服务以启用 GSSAPI 身份验证,这是 Kerberos 所必需的。在启用 GSSAPI 后,重新启动 SSH 服务。

完成这些任务的最简单方法是向集群提交步骤。下面的示例将 bash 脚本 configurekdc.sh 提交到您在上一步中创建的集群,引用其集群 ID。该脚本会保存到 Amazon S3 中。或者,您可以使用 EC2 密钥对连接到主节点来运行命令或在集群创建过程中提交步骤。

aws emr add-steps --cluster-id j-01234567 --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://myregion.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://mybucket/configurekdc.sh"]

以下示例演示了 configurekdc.sh 脚本的内容。

#!/bin/bash #Add a principal to the KDC for the master node, using the master node's returned host name sudo kadmin.local -q "ktadd -k /etc/krb5.keytab host/`hostname -f`" #Declare an associative array of user names and passwords to add declare -A arr arr=([user1]=pwd1 [user2]=pwd2 [user3]=pwd3) for i in ${!arr[@]}; do #Assign plain language variables for clarity name=${i} password=${arr[${i}]} # Create principal for sshuser in the master node and require a new password on first logon sudo kadmin.local -q "addprinc -pw $password +needchange $name" #Add user hdfs directory hdfs dfs -mkdir /user/$name #Change owner of user's hdfs directory to user hdfs dfs -chown $name:$name /user/$name done # Enable GSSAPI authentication for SSH and restart SSH service sudo sed -i 's/^.*GSSAPIAuthentication.*$/GSSAPIAuthentication yes/' /etc/ssh/sshd_config sudo sed -i 's/^.*GSSAPICleanupCredentials.*$/GSSAPICleanupCredentials yes/' /etc/ssh/sshd_config sudo /etc/init.d/sshd restart

您添加的用户现在应该可以使用 SSH 连接到集群。有关更多信息,请参阅 通过 SSH 连接使用 Kerberos 的集群