增强型步骤调试 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

增强型步骤调试

如果 Amazon EMR 步骤失败,并且您通过 5.x 版或更高版本的 AMI 使用步骤 API 操作提交了工作,则 Amazon EMR 可以在某些情况下通过 API 确定并返回步骤失败的根本原因,以及相关日志文件的名称和部分应用程序堆栈跟踪。例如,可以确定以下失败:

  • 常见 Hadoop 错误,例如输出目录已经存在、输入内容不存在,或应用程序用尽内存。

  • Java 错误,例如用不兼容的 Java 版本编译了应用程序,或用找不到的主类运行。

  • 访问在 Amazon S3 中存储的对象时发生问题。

该信息可使用 DescribeStepListSteps API 操作获得。StepSummaryFailureDetails 字段由这些操作返回。要访问 FailureDetails 信息,请使用 Amazon CLI、控制台或 Amazon SDK。

使用Amazon控制台查看失败详细信息

  1. 通过以下链接打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/

  2. 选择 Cluster List (集群列表) 并选择一个集群。

  3. 选择每个步骤旁边的箭头图标可查看更多详细信息。

如果步骤失败而且 Amazon EMR 可以确定根本原因,则您会看到失败详细信息。

使用 Amazon CLI 查看失败详细信息

  • 要使用 Amazon CLI 获得步骤的失败详细信息,请使用 describe-step 命令。

    aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

    输出将类似如下:

    { "Step": { "Status": { "FailureDetails": { "LogFile": "s3://myBucket/logs/j-1K48XXXXXHCB/steps/s-3QM0XXXXXM1W/stderr.gz", "Message": "org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory s3://myBucket/logs/beta already exists", "Reason": "Output directory already exists." }, "Timeline": { "EndDateTime": 1469034209.143, "CreationDateTime": 1469033847.105, "StartDateTime": 1469034202.881 }, "State": "FAILED", "StateChangeReason": {} }, "Config": { "Args": [ "wordcount", "s3://myBucket/input/input.txt", "s3://myBucket/logs/beta" ], "Jar": "s3://myBucket/jars/hadoop-mapreduce-examples-2.7.2-amzn-1.jar", "Properties": {} }, "Id": "s-3QM0XXXXXM1W", "ActionOnFailure": "CONTINUE", "Name": "ExampleJob" } }