将 Iceberg 与 Spark 结合使用的注意事项 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

将 Iceberg 与 Spark 结合使用的注意事项

  • 原定设置下，Amazon EMR 6.5.0 不支持 Iceberg 在 Amazon EMR on EKS 上运行。Amazon EMR 6.5.0 自定义映像可供您传递 --jars local:///usr/share/aws/iceberg/lib/iceberg-spark3-runtime.jar 作为 spark-submit 参数，用于在 Amazon EMR on EKS 上创建 Iceberg 表。有关更多信息，请参阅《Amazon EMR on EKS 开发指南》中的使用自定义映像在 Amazon EMR 中提交 Spark 工作负载。您也可以联系 Amazon Web Services Support 获取帮助。从 Amazon EMR 6.6.0 开始，Amazon EMR on EKS 支持 Iceberg。

  • 使用 Amazon Glue 作为 Iceberg 的目录时，请确保您在其中创建表的数据库存在于 Amazon Glue 中。如果您使用的是类似 Amazon Lake Formation 的服务并且无法加载目录，请确保您有访问该服务的适当权限来执行命令。