创建安装了 Hudi 的群集 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建安装了 Hudi 的群集

在 5.28.0 版本及更高版本中,亚马逊 EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。要在 Amazon EMR 上使用 Hudi,请在安装了以下应用程序后创建集群:

  • Hadoop

  • Hive

  • Spark

  • Presto

  • Tez

您可以使用创建集群Amazon Web Services Management Console,Amazon CLI或亚马逊 EMR API。

  1. 从打开 Amazon EMR 控制台https://console.aws.amazon.com/elasticmapreduce/

  2. 依次选择 Create cluster (创建集群)Go to advanced options (转到高级选项)

  3. 在 “软件配置” 下,选择emr-5.28.0或更高版本版本,然后选择HadoopHiveSparkPresto, 和Tez以及群集所需的其他应用程序。

  4. 根据应用程序的需要配置其他选项,然后选择下一步

  5. 根据需要配置 Hardware (硬件)General cluster settings (常规集群设置) 的选项。

  6. 对于 Security Options (安全选项),我们建议您选择一个 EC2 key pair (EC2 密钥对),您可以使用它通过 SSH 连接到主节点命令行。这允许您运行本指南中描述的 Spark shell 命令、Hive CLI 命令和 Hudi CLI 命令。

  7. 根据需要选择其他安全选项,然后选择 Create cluster (创建集群)