Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

存储日志

要在 EMR Serverless 上监控作业进度并排除作业故障，请选择 EMR Serverless 存储和提供应用程序日志的方式。当您提交任务运行时，将托管存储、Amazon S3 和 Amazon 指定 CloudWatch 为您的日志选项。

使用 CloudWatch，指定要使用的日志类型和日志位置，或接受默认类型和位置。有关 CloudWatch 日志的更多信息，请参阅使用亚马逊登录 EMR Serverless CloudWatch。对于托管存储和 S3 日志记录，下表列出了选择托管存储、Amazon S3 存储桶或两者时预期的日志位置和 UI 可用性。

¹ 建议您保持选中托管存储。否则，您将无法使用内置应用程序 UI。

使用托管存储的 EMR Serverless 日志记录

默认情况下，EMR Serverless 将应用程序日志安全存储在 Amazon EMR 托管存储中，最长 30 天。

要关闭 EMR Studio 中的此选项，请取消选中 “提交作业” 页面的 “其他设置” 部分中的 “允许 Amazon 将日志保留 30 天” 复选框。

要从中关闭此选项 Amazon CLI，请在提交作业运行时使用managedPersistenceMonitoringConfiguration配置。

{
    "monitoringConfiguration": {
        "managedPersistenceMonitoringConfiguration": {
            "enabled": false
        }
    }
}

如果您的 EMR Serverless 应用程序位于具有适用于 Amazon S3 的 VPC 端点的私有子网中，并且您附加了端点策略来控制访问，请为 EMR Serverless 添加以下权限以存储和提供应用程序日志。请将 Resource 替换为 Sample policies for private subnets that access Amazon S3 中可用区域表中的 AppInfo 存储桶。

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Sid": "EMRServerlessManagedLogging",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl"
      ],
      "Resource": [
        "arn:aws:s3:::prod.us-east-1.appinfo.src",
        "arn:aws:s3:::prod.us-east-1.appinfo.src/*"
      ],
      "Condition": {
        "StringEquals": {
          "aws:PrincipalServiceName": "emr-serverless.amazonaws.com",
          "aws:SourceVpc": "vpc-12345678"
        }
      }
    }
  ]
}

此外，使用 aws:SourceVpc 条件键确保请求通过 VPC 端点所附加的 VPC 进行传输。

使用 Amazon S3 存储桶的 EMR Serverless 日志记录

在作业将日志数据发送到 Amazon S3 之前，请在作业运行时角色的权限策略中包含以下权限。将 amzn-s3-demo-logging-bucket 替换为日志记录存储桶的名称。

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ],
      "Sid": "AllowS3Putobject"
    }
  ]
}

要设置 Amazon S3 存储桶来存储来自的日志 Amazon CLI，请在开始运行任务时使用s3MonitoringConfiguration配置。为此，请在配置中提供以下 --configuration-overrides。

{
    "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-logging-bucket/logs/"
        }
    }
}

对于未启用重试的批处理作业，EMR Serverless 会将日志发送到以下路径：

'/applications/<applicationId>/jobs/<jobId>'

EMR Serverless 将 Spark 驱动程序日志存储在以下路径中

'/applications/<applicationId>/jobs/<jobId>/SPARK_DRIVER/'

EMR Serverless 将 Spark 执行程序日志存储在以下路径中

'/applications/<applicationId>/jobs/<jobId>/SPARK_EXECUTOR/<EXECUTOR-ID>'

< EXECUTOR-ID > 是一个整数。

EMR Serverless 7.1.0 及更高版本支持流处理作业和批处理作业重试。如果您在启用重试的情况下运行作业，EMR Serverless 会自动在日志路径前缀中添加重试编号，以便更好地区分和跟踪日志。

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'

使用亚马逊登录 EMR Serverless CloudWatch

当您向 EMR 无服务器应用程序提交任务时，选择 Amazon CloudWatch 作为存储应用程序日志的选项。这允许您使用 CloudWatch 日志分析功能，例如 CloudWatch 日志见解和实时跟踪。您还可以将日志从其他系统流式传输 CloudWatch 到其他系统，例如 OpenSearch 用于进一步分析。

EMR Serverless 可实时记录驱动程序日志。您可以使用 CloudWatch 实时尾部功能或通过 CloudWatch CLI 尾部命令实时访问日志。

默认情况下，EMR 无服务器的 CloudWatch 日志记录处于禁用状态。若要启用，请使用 Amazon CLI 中的配置。

使用登录所需的权限 CloudWatch

在您的任务向亚马逊发送日志数据之前 CloudWatch，请在任务运行时角色的权限政策中包含以下权限。

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:DescribeLogGroups"
      ],
      "Resource": [
        "arn:aws:logs:*:123456789012:*"
      ],
      "Sid": "AllowLOGSDescribeloggroups"
    },
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:*:123456789012:log-group:my-log-group-name:*"
      ],
      "Sid": "AllowLOGSPutlogevents"
    }
  ]
}

Amazon CLI

要将 Amazon CloudWatch 设置为存储来自的 EMR Serverless 日志 Amazon CLI，请在开始运行任务时使用cloudWatchLoggingConfiguration配置。为此，请提供以下配置覆盖。或者，还请提供日志组名称、日志流前缀名称、日志类型和加密密钥 ARN。

如果您未指定可选值，则使用默认日志流将日志 CloudWatch 发布到默认日志组/aws/emr-serverless/applications/applicationId/jobs/jobId/worker-type。

EMR Serverless 7.1.0 及更高版本支持流处理作业和批处理作业重试。如果作业启用了重试，EMR Serverless 会自动在日志路径前缀中添加重试编号，以便更好地区分和跟踪日志。

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/worker-type'

以下内容演示了使用 EMR Serverless 的默认设置开启亚马逊 CloudWatch 日志记录所需的最低配置：

{
    "monitoringConfiguration": {
        "cloudWatchLoggingConfiguration": {
            "enabled": true
         }
     }
}

以下示例显示了您在启用 EMR Serverless 的亚马逊 CloudWatch 日志记录时指定的所有必需和可选配置。示例下方还列出了支持的 logTypes 值。

{
    "monitoringConfiguration": {
        "cloudWatchLoggingConfiguration": {
            "enabled": true, // Required
            "logGroupName": "Example_logGroup", // Optional
            "logStreamNamePrefix": "Example_logStream", // Optional 
            "encryptionKeyArn": "key-arn", // Optional 
            "logTypes": { 
                "SPARK_DRIVER": ["stdout", "stderr"] //List of values
             }
         }
     }
}

默认情况下，EMR Serverless 仅向其发布驱动程序 stdout 和 stderr 日志。 CloudWatch如果需要其他日志，请在 logTypes 字段中指定容器角色和相应的日志类型。