使用外部 MySQL 数据库或 Amazon Aurora

创建位于 EMR 集群外的元数据仓

1. 创建 MySQL 或 Aurora 数据库。

   有关如何创建 Amazon RDS 数据库的信息，请参阅https://aws.amazon.com/rds/。

2. 修改您的安全组，以允许在数据库与 ElasticMapReduce-Master 安全组之间建立 JDBC 连接。

   有关如何针对访问权限修改安全组的信息，请参阅使用 Amazon EMR 管理的安全组。

3. 在 hive-site.xml 中设置 JDBC 配置值：

   1. 重要

      如果您向 Amazon EMR 配置 API 提供敏感信息，如密码，此信息将显示为具有充分权限的账户。如果您担心此信息可能对其他用户显示，可通过创建以显式方式拒绝 elasticmapreduce:DescribeCluster API 密钥许可的角色来使用管理账户创建集群并限制其他用户 (IAM 用户或具有委派凭证的用户) 访问集群服务。

      创建一个名为 hiveConfiguration.json 的配置文件，该文件包含对 hive-site.xml 的编辑，如以下示例所示。

      hostname> 是运行数据库的 Amazon RDS 实例的 DNS 地址。 <username> 和 <password> 是数据库的凭据。有关连接 MySQL 和 Aurora 数据库实例的更多信息，请参阅连接到运行 MySQL 数据库引擎的数据库实例和连接到 Athena 数据库集群中的Amazon RDS 用户指南。javax.jdo.option.ConnectionURL是 JDBC 元存储的 JDBC 连接字符串。javax.jdo.option.ConnectionDriverName是 JDBC 元存储的驱动程序类名。

      MySQL JDBC 驱动程序由 Amazon EMR 进行安装。

      值属性不能包含任何空格或回车。所有内容应显示在一行中。

      [
          {
            "Classification": "hive-site",
            "Properties": {
              "javax.jdo.option.ConnectionURL": "jdbc:mysql://hostname:3306/hive?createDatabaseIfNotExist=true",
              "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
              "javax.jdo.option.ConnectionUserName": "username",
              "javax.jdo.option.ConnectionPassword": "password"
            }
          }
        ]
      

      您创建集群时会引用 hiveConfiguration.json 文件，如以下 Amazon CLI 命令中所示。在此命令中，此文件存储在本地，您也可将此文件上传到 Amazon S3 并在其中对其进行引用，例如s3://mybucket/hiveConfiguration.json。

      注意

      为了便于读取，包括 Linux 行延续字符 (\)。它们可以被删除或在 Linux 命令中使用。对于 Windows，请将其删除或替换为脱字号 (^)。

      aws emr create-cluster --release-label emr-5.33.0 --instance-type m5.xlarge --instance-count 2 \
      --applications Name=Hive --configurations file://hiveConfiguration.json --use-default-roles

4. 连接到集群的主节点。

   有关如何连接主节点的信息，请参阅使用 SSH Connect 主节点中的Amazon EMR 管理指南。

5. 通过输入类似以下内容的命令，创建在 Amazon S3 上指定了位置的 Hive 表：

   CREATE EXTERNAL TABLE IF NOT EXISTS table_name
   (
   key int,
   value int
   )
   LOCATION s3://mybucket/hdfs/

6. 将 Hive 脚本添加到正在运行的集群。