Apache HCatalog
HCatalog 是一个工具,通过该工具,您可以访问 Pig、Spark SQL 和/或自定义 MapReduce 应用程序中的 Hive 元存储表。HCatalog 具有 REST 接口和命令行客户端,允许您创建表或执行其它操作。然后,您可以编写应用程序以使用 HCatalog 库访问这些表。有关详细信息,请参阅使用 HCatalog
HCatalog on Amazon EMR 发行版 5.8.0 及更高版本上的 HCatalog 支持使用 Amazon Glue 数据目录作为 Hive 的元存储。有关更多信息,请参阅使用 Amazon Glue 数据目录作为 Hive 的元存储。
下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 HCatalog 版本,以及 Amazon EMR 随 HCatalog 一起安装的组件。
有关此发行版中随 HCatalog 安装的组件版本,请参阅 Release 6.14.0 Component Versions。
emr-6.14.0 的 HCatalog 版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | HCatalog 版本 | 随 HCatalog 安装的组件 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
HCatalog 3.1.3 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hcatalog-client, hcatalog-server, hcatalog-webhcat-server, hive-client, mariadb-server |
下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 HCatalog 版本,以及 Amazon EMR 随 HCatalog 一起安装的组件。
有关此发行版中随 HCatalog 安装的组件版本,请参阅 Release 6.14.0 Component Versions。
emr-5.36.1 的 HCatalog 版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | HCatalog 版本 | 随 HCatalog 安装的组件 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
HCatalog 2.3.9 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hcatalog-client, hcatalog-server, hcatalog-webhcat-server, hive-client, mariadb-server |