本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
将 Iceberg 与 Spark 结合使用的注意事项
-
默认情况下,亚马逊 EMR 6.5.0 不支持EMR在亚马逊上运行 Iceberg EKS。Amazon EMR 6.5.0 自定义映像可用,因此您可以
--jars local:///usr/share/aws/iceberg/lib/iceberg-spark3-runtime.jar
作为spark-submit
参数传递,以便在亚马逊EMR上创建 Iceberg 表。EKS有关更多信息,请参阅《亚马逊EKS开发指南》中的EMR使用自定义图像在亚马逊中提交 Spark 工作负载。EMR您也可以联系 Amazon Web Services Support 获取帮助。从亚马逊 EMR 6.6.0 开始,亚马逊支持 Iceberg。EMR EKS -
使用 Amazon Glue 作为 Iceberg 的目录时,请确保要在其中创建表的数据库存在于 Glue 中 Amazon 。如果您正在使用诸如的服务 Amazon Lake Formation ,但无法加载目录,请确保您拥有对服务的正确访问权限以执行命令。