故障排除 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

故障排除

日志记录

EKS 上的 EMR 使用 Spark 资源配置文件来拆分任务执行。EKS 上的 Amazon EMR 使用用户配置文件来运行您提供的代码,而系统配置文件则强制执行 Lake Formation 策略。您可以通过配置 StartJobRun 请求来访问作为用户配置文件运行的容器的日志MonitoringConfiguration

Spark 历史记录服务器

Spark History Server 包含根据用户配置文件生成的所有 Spark 事件和由系统驱动程序生成的经过编辑的事件。您可以在 “E xecutors” 选项卡中查看用户和系统驱动程序中的所有容器。但日志链接仅适用于用户配置文件。

由于 Lake Formation 权限不足,作业失败

确保您的作业运行时角色具有运行权限SELECT以及DESCRIBE您正在访问的表的权限。

RDD 作业执行失败

EKS 上的 EMR 目前不支持对启用 Lake Formation 的作业进行弹性分布式数据集 (RDD) 操作。

无法访问 Amazon S3 中的数据文件

确保您已在 Lake Formation 中注册数据湖的位置。

安全验证异常

EKS 上的 EMR 检测到安全验证错误。请联系 Amazon 支持人员寻求帮助。

跨账户 Amazon 共享 Glue 数据目录和表格

您可以跨账户共享数据库和表,且仍可使用 Lake Formation。有关更多信息,请参阅 Lake Formati on 中的跨账户数据共享和如何使用 Amazon Lake Formation 跨账户共享 Amazon Glue 数据目录和表格? 。

Iceberg Job 在未设置区域时抛出初始化错误 Amazon

消息如下:

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, reason = IllegalArgumentException, message = Cannot initialize LakeFormationAwsClientFactory, please set client.region to a valid aws region

确保 Spark 配置设置spark.sql.catalog.catalog_name.client.region为有效的区域。

投掷 Iceberg Job SparkUnsupportedOperationException

消息如下:

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

确保将 Spark 配置设置spark.sql.catalog.catalog_name.glue.account-id为有效的账户 ID。