Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon Glue 数据目录作为 Hive 的元数据库

使用 Amazon EMR 版本 5.8.0 或更高版本，您可以将 Hive 配置为使用 Glue 数据目录作为其元 Amazon 数据库。当您需要持久的元数据仓或由不同集群、服务、应用程序和 Amazon 账户共享的元数据仓时，我们建议使用此配置。

Amazon Glue 是一项完全托管的提取、转换和加载 (ETL) 服务，它使对数据进行分类、清理、丰富数据并在各种数据存储之间可靠地移动数据变得简单且经济高效。 Amazon Glue 数据目录提供了一个跨各种数据源和数据格式的统一元数据存储库，与亚马逊 EMR 以及亚马逊 RDS、Amazon Redshift、Redshift Spectrum、Athena 以及任何与 Apache Hive 元数据仓兼容的应用程序集成。 Amazon Glue 爬网程序可以自动从 Amazon S3 中的源数据推断出架构，并将相关的元数据存储在数据目录中。有关数据目录的更多信息，请参阅 Amazon Glue 开发者指南中的填充 G Amazon l ue 数据目录。

Glue 需单独收 Amazon 费。在数据目录中存储和访问元数据有月费率，Gl Amazon ue ETL 作业和爬虫运行时按小时费率收费，每个预配置的开发端点按每分钟计费。数据目录让您最多可免费存储一百万个对象。如果您存储一百万个以上的对象，将需要为超过一百万的每 100,000 个对象支付 1 美元。数据目录中的对象为表、分区或数据库。有关更多信息，请参阅 Glue 定价。

将 Amazon Glue 数据目录指定为元数据库

您可以使用 Amazon Web Services Management Console、 Amazon CLI或 Amazon EMR API 将 Amazon Glue 数据目录指定为元数据库。在使用 CLI 或 API 时，您可以使用 Hive 配置分类指定数据目录。此外，在 Amazon EMR 5.16.0 及更高版本中，您可以使用配置分类在不同的目录中指定数据目录。 Amazon Web Services 账户在使用控制台时，您可以使用 Advanced Options (高级选项) 或 Quick Options (快速选项) 指定数据目录。

New console

使用新主机 Amazon 将 Glue 数据目录指定为 Hive 元数据仓库

1. 登录并打开亚马逊 EMR 控制台，网址为 https://console.aws.amazon.com/emr。 Amazon Web Services Management Console

2. 在左侧导航窗格中的 EMR on EC2 下，选择 Clusters（集群），然后选择 Create cluster（创建集群）。

3. 在 Application bundle（应用程序包）下，选择 Core Hadoop（核心 Hadoop）、HBase 或 Custom（自定义）。如果您自定义集群，请确保选择 Hive 或 HCatalog 作为应用程序之一。

4. 在Amazon Glue 数据目录设置下，选择用于 Hive 表元数据复选框。

5. 选择适用于集群的任何其他选项。

6. 要启动集群，选择 Create cluster（创建集群）。

Old console

使用旧控制 Amazon 台将 Glue 数据目录指定为 Hive 元数据仓库

1. 导航到 Amazon EMR 新控制台，然后从侧面导航栏中选择切换到旧控制台。有关切换到旧控制台后预期情况的更多信息，请参阅 Using the old console。

2. 依次选择 Create cluster (创建集群)、Go to advanced options (转到高级选项)。

3. 对于 Release (版本)，选择 emr-5.8.0 或更高版本。

4. 在 Release (版本) 下，选择 Hive 或 HCatalog。

5. 在 Amazon Glue Data Catalog settings (Amazon Glue 数据目录设置) 下，选择 Use for Hive table metadata (用于 Hive 表元数据)。

6. 根据需要为您的集群选择其他选项，选择 Next (下一步)，然后根据需要为您的应用程序配置其他集群选项。

CLI

要将 Amazon Glue 数据目录指定为 Hive 元数据仓库 Amazon CLI

有关使用 Amazon CLI 和 EMR API 指定配置分类的更多信息，请参阅。配置应用程序

• 使用 hive-site 配置分类指定 hive.metastore.client.factory.class 的值，如下例所示：

  [
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
      }
    }
  ]
  						

  在 EMR 发行版 5.28.0、5.28.1、5.29.0 或 6.x 上，如果您要使用 Glue 数据目录作为元数据仓创建集群，请将 Amazon 设置为。hive.metastore.schema.verification false这可以防止 Hive 和 HCatalog 根据 MySQL 验证元数据仓架构。如果没有此配置，主实例组将在 Hive 或 HCatalog 上进行重新配置后暂停。

  [
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "hive.metastore.schema.verification": "false"
      }
    }
  ]
  					

  如果您在 EMR 发行版 5.28.0、5.28.1 或 5.29.0 上已有集群，则可以使用以下信息将主实例组 hive.metastore.schema.verification 设置为 false：

     
      Classification = hive-site
      Property       = hive.metastore.schema.verification
      Value          = false
  					

  要在其他 Amazon 账户中指定数据目录，请添加hive.metastore.glue.catalogid属性，如以下示例所示。将 acct-id 替换为数据目录的 Amazon 账户。

  [
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "hive.metastore.schema.verification": "false",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]
  				

IAM 权限

集群的 EC2 实例配置文件必须具有 Amazon Glue 操作的 IAM 权限。此外，如果您为 Amazon Glue Data Catalog 对象启用加密，则还必须允许该角色加密、解密和生成 Amazon KMS key 用于加密的对象。

Amazon Glue 操作的权限

如果使用适用于 Amazon EMR 默认的 EC2 实例配置文件，则无需执行任何操作。附加到的AmazonElasticMapReduceforEC2Role托管策略EMR_EC2_DefaultRole允许执行所有必要的 Amazon Glue 操作。但是，如果您指定自定义 EC2 实例配置文件和权限，则必须配置相应的 Amazon Glue 操作。使用 AmazonElasticMapReduceforEC2Role 托管策略作为起点。如需了解更多信息，请参阅《Amazon EMR 管理指南》中的集群 EC2 实例的服务角色（EC2 实例配置文件）。

加密和解密 Amazon Glue 数据目录的权限

您的实例配置文件需要使用密钥加密和解密数据的权限。如果以下语句适用，您不必配置这些权限：

否则，您必须将以下语句添加到附加到 EC2 实例配置文件的权限策略。

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

有关 Amazon Glue 数据目录加密的更多信息，请参阅 Glu e 开发者指南中的Amazon 加密数据目录。

基于资源的权限

如果您在 Amazon EMR 中将 Amazon Glue 与 Hive、Spark 或 Presto 结合使用， Amazon Glue 支持基于资源的策略来控制对数据目录资源的访问。这些资源包括数据库、表、连接和用户定义的函数。有关更多信息，请参阅《Amazon Glue 开发人员指南》中的 Amazon Glue 资源策略。

使用基于资源的策略限制从 Amazon EMR 中访问 Amazon Glue 时，您在权限策略中指定的委托人必须是与创建集群时指定的 EC2 实例配置文件关联的角色 ARN。例如，对于附加到目录的基于资源的策略，您可以使用以下示例所示的格式为集群 EC2 实例的默认服务角色指定角色 ARN，DefaultRoleEMR_EC2_ 为Principal：

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

账号 ID 可以与 G Amazon lue 账号 ID 不同。这允许从不同账户中的 EMR 集群进行访问。您可以指定多个委托人，且每个委托人都可以来自不同的账户。

使用 Amazon Glue 数据目录时的注意事项

使用 Amazon Glue 数据目录作为 Hive 的元数据仓时，请考虑以下事项：