Hudi
Apache Hudi
Hudi 集成了 Apache Spark
在 Amazon EMR 5.28.0 版本及更高版本中,EMR 默认情况下会在安装 Spark、Hive、Presto 或 Flink 时安装 Hudi 组件。您可以使用 Spark 或 Hudi DeltaStreamer 实用程序来创建或更新 Hudi 数据集。您可以使用 Hive、Spark、Presto 或 Flink 以交互方式查询 Hudi 数据集,或使用增量拉取功能构建数据处理管道。增量拉取是指仅拉取两个操作之间更改的数据的功能。
这些功能使得 Hudi 适用于以下使用案例:
-
处理来自传感器和其它需要特定数据插入和更新事件的物联网 (IoT) 设备的流数据。
-
在用户可能会选择被忘记或修改其对数据使用方式的同意的应用程序中,遵守数据隐私法规。
-
实施更改数据捕获 (CDC) 系统
,该系统允许您随着时间的推移将更改应用于数据集。
下表列出了 Amazon EMR 6.x 系列的最新发行版附带的 Hudi 版本,以及 Amazon EMR 随 Hudi 一起安装的组件。
有关此发行版中随 Hudi 安装的组件版本,请参阅 Release 6.14.0 Component Versions。
emr-6.14.0 的 Hudi 版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | Hudi 版本 | 随 Hudi 安装的组件 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
Hudi 0.13.1-amzn-2 |
Not available. |
注意
Amazon EMR 发行版 6.8.0 随附 Apache Hudihudi-spark3.3-bundle_2.12
兼容。
下表列出了 Amazon EMR 5.x 系列的最新发行版附带的 Hudi 版本,以及 Amazon EMR 随 Hudi 一起安装的组件。
有关此发行版中随 Hudi 安装的组件版本,请参阅 Release 6.14.0 Component Versions。
emr-5.36.1 的 Hudi 版本信息 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Amazon EMR 发行版标签 | Hudi 版本 | 随 Hudi 安装的组件 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
Hudi 0.10.1-amzn-1 |
Not available. |