将 Iceberg 与 Spark 结合使用的注意事项 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将 Iceberg 与 Spark 结合使用的注意事项

  • 默认情况下，亚马逊 EMR 6.5.0 不支持EMR在亚马逊上运行 Iceberg EKS。Amazon EMR 6.5.0 自定义映像可用，因此您可以--jars local:///usr/share/aws/iceberg/lib/iceberg-spark3-runtime.jar作为spark-submit参数传递，以便在亚马逊EMR上创建 Iceberg 表。EKS有关更多信息，请参阅《亚马逊EKS开发指南》中的EMR使用自定义图像在亚马逊中提交 Spark 工作负载。EMR您也可以联系 Amazon Web Services Support 获取帮助。从亚马逊 EMR 6.6.0 开始，亚马逊支持 Iceberg。EMR EKS

  • 使用 Amazon Glue 作为 Iceberg 的目录时，请确保要在其中创建表的数据库存在于 Glue 中 Amazon 。如果您正在使用诸如的服务 Amazon Lake Formation ，但无法加载目录，请确保您拥有对服务的正确访问权限以执行命令。