使用已安装的 Hudi 创建集群 - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用已安装的 Hudi 创建集群

在 Amazon EMR 版本 5.28.0 及更高版本中,Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。要在 Amazon EMR 上使用 Hudi,请在安装了以下应用程序后创建集群:

  • Hadoop

  • Hive

  • Spark

  • Presto

  • Tez

您可以使用 AWS 管理控制台、AWS CLI 或 Amazon EMR API 创建集群。

  1. 通过以下网址打开 Amazon EMR 控制台:https://console.amazonaws.cn/elasticmapreduce/

  2. 依次选择 Create cluster (创建集群)Go to advanced options (转到高级选项)

  3. 在“软件配置”下,选择 另出动-5.28.0 或之后 释放 并选择 Hadoop(Hadoop), 荨麻疹, 闪光, 普雷斯托,和 泰兹 以及您的群集需要的其他应用程序。

  4. 根据应用程序的需要配置其他选项,然后选择下一步

  5. 根据需要配置 Hardware (硬件)General cluster settings (常规集群设置) 的选项。

  6. 对于 Security Options (安全选项),我们建议您选择一个 EC2 key pair (EC2 密钥对),您可以使用它通过 SSH 连接到主节点命令行。这允许您运行本指南中描述的 Spark shell 命令、Hive CLI 命令和 Hudi CLI 命令。

  7. 根据需要选择其他安全选项,然后选择 Create cluster (创建集群)