调试作业 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

调试作业

注意

使用此功能,您可以查看系统配置文件工作人员的 stdou t 和 stderr 日志,其中可能包含未经过滤的敏感信息。以下权限只能用于访问非生产数据。对于为用于生产作业而创建的应用程序,我们强烈建议您仅向管理员或具有更高数据访问权限的用户添加这些权限。

在 EMR-7.3.0 及更高版本中,EMR Serverless 为支持 Lake Formation 的批处理作业启用了自调试功能。为此,请使用 GetDashboardForJobRunAPI 中的新accessSystemProfile参数 Logs。如果 “accessSystemProfile日志” 设置为 true,则可以查看系统配置文件工作人员的 stdoutstderr 日志,这些日志可用于调试启用 Lake Formation 的 EMR Serverless 批处理作业。

aws emr-serverless get-dashboard-for-job-run \ --application-id application-id --job-run-id job-run-id --access-system-profile-logs

所需的权限

想要使用调试启用 Lake Formation 的批处理作业的委托人GetDashboardForJobRun必须具有以下额外权限:

{ "Sid": "AccessSystemProfileLogs", "Effect": "Allow", "Action": [ "emr-serverless:GetDashboardForJobRun", "emr-serverless:AccessSystemProfileLogs", "glue:GetDatabases", "glue:SearchTables" ], "Resource": [ "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid", "arn:aws:glue:region:account-id:catalog", "arn:aws:glue:region:account-id:database/*", "arn:aws:glue:region:account-id:table/*/*" ] }

注意事项

对于使用与作业相同的帐户访问 Lake Formation 中的数据库或表的作业,可以看到用于调试的系统配置文件日志。它们在以下情况下不可见:

  • 如果使用 Lake Formation 权限管理的数据目录具有跨账户数据库和表

  • 如果使用 Lake Formation 权限管理的数据目录具有资源链接