使用外部 MySQL 数据库或 Amazon Aurora

创建位于 EMR 集群外的元数据仓

1. 创建 MySQL 或 Aurora PostgreSQL 数据库。如果您使用 PostgreSQL，则必须在预置集群之后对其进行配置。创建集群时只支持 MySQL。有关 Aurora MySQL 和 Aurora PostgreSQL 之间的区别的信息，请参阅 Amazon Aurora MySQL 概述和使用 Amazon Aurora PostgreSQL。有关如何创建 Amazon RDS 数据库的一般信息，请参阅 https://aws.amazon.com/rds/。

2. 修改您的安全组以允许您的数据库和 ElasticMapReduce-Master 安全组之间的 JDBC 连接。有关如何修改安全组以进行访问的信息，请参阅使用 Amazon EMR 托管式安全组。

3. 在 hive-site.xml 中设置 JDBC 配置值：

   重要

   如果您提供敏感信息（如密码）至 Amazon EMR 配置 API，该信息将仅对拥有充分权限的账户显示。如果您担心此信息可能对其他用户显示，可通过创建以显式方式拒绝 elasticmapreduce:DescribeCluster API 密钥许可的角色来使用管理账户创建集群并限制其他用户 (IAM 用户或具有委派凭证的用户) 访问集群服务。

   1. 创建一个名为 hiveConfiguration.json 的配置文件，该文件包含对 hive-site.xml 的编辑，如以下示例所示。

      以 hostname 代替运行数据库的 Amazon RDS 实例的 DNS 地址，以及数据库凭证的username 和 password 。有关连接到 MySQL 和 Aurora 数据库实例的更多信息，请参阅《Amazon RDS 用户指南》https://docs.amazonaws.cn/AmazonRDS/latest/UserGuide/USER_ConnectToInstance.html中的连接到运行 MySQL 数据库引擎的数据库实例和连接到 Athena 数据库集群。javax.jdo.option.ConnectionURL 是 JDBC 元数据仓的 JDBC 连接字符串。javax.jdo.option.ConnectionDriverName 是 JDBC 元数据仓的驱动程序类名。

      MySQL JDBC 驱动程序由 Amazon EMR 进行安装。

      值属性不能包含任何空格或回车。所有内容应显示在一行中。

      [
          {
            "Classification": "hive-site",
            "Properties": {
              "javax.jdo.option.ConnectionURL": "jdbc:mysql://hostname:3306/hive?createDatabaseIfNotExist=true",
              "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
              "javax.jdo.option.ConnectionUserName": "username",
              "javax.jdo.option.ConnectionPassword": "password"
            }
          }
        ]
      

   2. 创建集群时引用该hiveConfiguration.json文件，如以下 Amazon CLI 命令所示。在此命令中，此文件存储在本地，您也可将此文件上传到 Amazon S3 并在此对其进行引用，例如 s3://DOC-EXAMPLE-BUCKET/hiveConfiguration.json。

      注意

      为了便于读取，包含 Linux 行继续符（\）。它们可以通过 Linux 命令删除或使用。对于 Windows，请将它们删除或替换为脱字号 (^)。

      aws emr create-cluster --release-label emr-7.1.0 --instance-type m5.xlarge --instance-count 2 \
      --applications Name=Hive --configurations file://hiveConfiguration.json --use-default-roles

4. 连接到集群的主节点。

   有关如何连接到主节点的信息，请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。

5. 通过输入类似以下内容的命令，创建在 Amazon S3 上指定位置的 Hive 表：

   CREATE EXTERNAL TABLE IF NOT EXISTS table_name
   (
   key int,
   value int
   )
   LOCATION s3://DOC-EXAMPLE-BUCKET/hdfs/

6. 将 Hive 脚本添加到正在运行的集群。