创建安装了 Hudi 的集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

创建安装了 Hudi 的集群

在 Amazon EMR 版本 5.28.0 及更高版本中， Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。要在 Amazon EMR 上使用 Hudi，请在安装了以下一个或多个应用程序后创建集群：

  • Hadoop

  • Hive

  • Spark

  • Presto

  • Flink

您可以使用 Amazon Web Services Management Console、Amazon CLI 或 Amazon EMR API 创建集群。

  1. 导航到 Amazon EMR 新控制台，然后从侧面导航栏中选择切换到旧控制台。有关切换到旧控制台后预期情况的更多信息，请参阅 Using the old console。

  2. 依次选择 Create cluster (创建集群)、Go to advanced options (转到高级选项)。

  3. 在 Software Configuration（软件配置）下，对于 Release（发行版），选择 emr-5.28.0 或更高版本，然后选择 Hadoop、Hive、Spark、Presto、Tez 以及集群需要的其他应用程序。

  4. 根据应用程序的需要配置其它选项，然后选择下一步。

  5. 根据需要配置 Hardware (硬件) 和 General cluster settings (常规集群设置) 的选项。

  6. 对于 Security Options (安全选项)，我们建议您选择一个 EC2 key pair (EC2 密钥对)，您可以使用它通过 SSH 连接到主节点命令行。这允许您运行本指南中描述的 Spark shell 命令、Hive CLI 命令和 Hudi CLI 命令。

  7. 根据需要选择其它安全选项，然后选择 Create cluster (创建集群)。