创建安装了 Hudi 的集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

创建安装了 Hudi 的集群

在 Amazon EMR 版本 5.28.0 及更高版本中, Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。要在 Amazon EMR 上使用 Hudi,请在安装了以下一个或多个应用程序后创建集群:

  • Hadoop

  • Hive

  • Spark

  • Presto

  • Flink

您可以使用 Amazon Web Services Management Console、Amazon CLI 或 Amazon EMR API 创建集群。

  1. 通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/

  2. 依次选择 Create cluster (创建集群)Go to advanced options (转到高级选项)

  3. 在 Software Configuration(软件配置)下,对于 Release(发行版),选择 emr-5.28.0 或更高版本,然后选择 HadoopHiveSparkPrestoTez 以及集群需要的其他应用程序。

  4. 根据应用程序的需要配置其它选项,然后选择下一步

  5. 根据需要配置 Hardware (硬件)General cluster settings (常规集群设置) 的选项。

  6. 对于 Security Options (安全选项),我们建议您选择一个 EC2 key pair (EC2 密钥对),您可以使用它通过 SSH 连接到主节点命令行。这允许您运行本指南中描述的 Spark shell 命令、Hive CLI 命令和 Hudi CLI 命令。

  7. 根据需要选择其它安全选项,然后选择 Create cluster (创建集群)