Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

纠正 Amazon Glue for Spark 中的错误

如果您在 Amazon Glue 中遇到错误，则可以使用以下解决方案来帮助您查找问题的根源并解决问题。

错误：资源不可用

如果 Amazon Glue 返回了“资源不可用”消息，则可查看错误消息或日志来帮助您详细了解问题。以下作业描述了故障排除的通用方法。

错误：在 VPC 中找不到 subnetId 的 S3 终端节点或 NAT 网关

检查消息中的子网 ID 和 VPC ID 可帮助您诊断问题。

错误：需要安全组中的入站规则

至少有一个安全组必须打开所有入口端口。为限制流量，入站规则中的源安全组可限制为同一安全组。

错误：需要安全组中的出站规则

至少有一个安全组必须打开所有出口端口。为限制流量，出站规则中的源安全组可限制为同一安全组。

错误：作业运行失败，因为应该向传递的角色授予针对 Amazon Glue 服务的代入角色权限

定义作业的用户必须具有针对适用于 Amazon Glue 的 iam:PassRole 的权限。

错误： DescribeVpcEndpoints 操作未授权。无法验证 VPC ID vpc-id

错误： DescribeRouteTables 操作未授权。无法验证子网 ID：VPC 中的子网 ID：vpc-id：vpc-id

错误：调用 ec2 失败：DescribeSubnets

错误：调用 ec2 失败：DescribeSecurityGroups

错误：找不到可用区的子网

错误：对 JDBC 目标进行写入时发生作业运行异常

当您运行某个对 JDBC 目标进行写入的作业时，该作业在以下情况下可能遇到错误：

错误：Amazon S3 超时

如果 Amazon Glue 返回连接超时错误，则可能是因为它正在尝试访问其他 Amazon 区域中的 Amazon S3 存储桶。

错误：Amazon S3 访问被拒绝

如果 Amazon Glue 向 Amazon S3 存储桶或对象返回了“访问被拒绝”错误，则可能是因为提供的 IAM 角色没有具有针对您的数据存储的权限的策略。

错误：Amazon S3 访问密钥 ID 不存在

如果Amazon Glue 在运行作业时返回了“访问密钥 ID 不存在”错误，则可能由以下原因之一导致：

错误：作业在访问带有 s3a:// URI 的 Amazon S3 时运行失败

如果作业运行时返回一个类似无法分析使用处理程序类的 XML 文档的错误，可能是由于尝试列出数百个使用 s3a:// URI 的文件时失败。改用 s3:// URI 访问您的数据存储。下面的异常跟踪突出显示了要查找的错误：

1.	com.amazonaws.SdkClientException: Failed to parse XML document with handler class com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser$ListBucketHandler
2.	at com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser.parseXmlInputStream(XmlResponsesSaxParser.java:161)
3.	at com.amazonaws.services.s3.model.transform.XmlResponsesSaxParser.parseListBucketObjectsResponse(XmlResponsesSaxParser.java:317)
4.	at com.amazonaws.services.s3.model.transform.Unmarshallers$ListObjectsUnmarshaller.unmarshall(Unmarshallers.java:70)
5.	at com.amazonaws.services.s3.model.transform.Unmarshallers$ListObjectsUnmarshaller.unmarshall(Unmarshallers.java:59)
6.	at com.amazonaws.services.s3.internal.S3XmlResponseHandler.handle(S3XmlResponseHandler.java:62)
7.	at com.amazonaws.services.s3.internal.S3XmlResponseHandler.handle(S3XmlResponseHandler.java:31)
8.	at com.amazonaws.http.response.AwsResponseHandlerAdapter.handle(AwsResponseHandlerAdapter.java:70)
9.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.handleResponse(AmazonHttpClient.java:1554)
10.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeOneRequest(AmazonHttpClient.java:1272)
11.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeHelper(AmazonHttpClient.java:1056)
12.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.doExecute(AmazonHttpClient.java:743)
13.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeWithTimer(AmazonHttpClient.java:717)
14.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.execute(AmazonHttpClient.java:699)
15.	at com.amazonaws.http.AmazonHttpClient$RequestExecutor.access$500(AmazonHttpClient.java:667)
16.	at com.amazonaws.http.AmazonHttpClient$RequestExecutionBuilderImpl.execute(AmazonHttpClient.java:649)
17.	at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:513)
18.	at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4325)
19.	at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4272)
20.	at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4266)
21.	at com.amazonaws.services.s3.AmazonS3Client.listObjects(AmazonS3Client.java:834)
22.	at org.apache.hadoop.fs.s3a.S3AFileSystem.getFileStatus(S3AFileSystem.java:971)
23.	at org.apache.hadoop.fs.s3a.S3AFileSystem.deleteUnnecessaryFakeDirectories(S3AFileSystem.java:1155)
24.	at org.apache.hadoop.fs.s3a.S3AFileSystem.finishedWrite(S3AFileSystem.java:1144)
25.	at org.apache.hadoop.fs.s3a.S3AOutputStream.close(S3AOutputStream.java:142)
26.	at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:74)
27.	at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:108)
28.	at org.apache.parquet.hadoop.ParquetFileWriter.end(ParquetFileWriter.java:467)
29.	at org.apache.parquet.hadoop.InternalParquetRecordWriter.close(InternalParquetRecordWriter.java:117)
30.	at org.apache.parquet.hadoop.ParquetRecordWriter.close(ParquetRecordWriter.java:112)
31.	at org.apache.spark.sql.execution.datasources.parquet.ParquetOutputWriter.close(ParquetOutputWriter.scala:44)
32.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$SingleDirectoryWriteTask.releaseResources(FileFormatWriter.scala:252)
33.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:191)
34.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:188)
35.	at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1341)
36.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:193)
37.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$3.apply(FileFormatWriter.scala:129)
38.	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1$$anonfun$3.apply(FileFormatWriter.scala:128)
39.	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
40.	at org.apache.spark.scheduler.Task.run(Task.scala:99)
41.	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
42.	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
43.	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
44.	at java.lang.Thread.run(Thread.java:748)

错误：Amazon S3 服务令牌已过期

在将数据移入和移出 Amazon Redshift 时，使用了将在 1 小时后过期的临时 Amazon S3 凭证。如果您有长时间运行的作业，它可能会失败。有关如何设置您的长时间运行的任务以将数据移入和移出 Amazon Redshift 的信息，请参阅aws-glue-programming-etl-connect-redshift-home。

错误：找不到网络接口的私有 DNS

如果作业失败或开发终端节点无法预置，则可能是因为网络设置有问题。

错误：开发终端节点预置失败

如果 Amazon Glue 无法成功预置开发终端节点，则可能是因为网络设置有问题。

错误：笔记本服务器 CREATE_FAILED

如果 Amazon Glue 无法为开发终端节点创建笔记本服务器，则可能由以下问题之一导致：

错误：本地笔记本无法启动

如果您的本地笔记本无法启动并报告“找不到某个目录或文件夹”错误，则可能由以下问题之一导致：

错误：运行爬网程序失败

如果 Amazon Glue 无法成功运行爬网程序以便为您的数据编制目录，则可能由以下原因之一导致。首先检查 Amazon Glue 控制台爬网程序列表中是否列出了错误。检查爬网程序名称旁边是否有 感叹号图标，并将鼠标指针悬停在该图标上以查看任何相关消息。

错误：分区未更新

如果您在运行 ETL 作业时没有在数据目录中更新分区，那么日志中该DataSink类中的这些 CloudWatch 日志语句可能会有所帮助：

有关更新分区的更多信息，请参阅 在数据目录中通过 Amazon Glue ETL 任务创建表、更新架构和添加新分区。

错误：由于版本不匹配，作业书签更新失败

您可能正在尝试参数化 Amazon Glue 作业，以将相同转换/逻辑应用于 Amazon S3 中的不同数据集。您想在提供的位置跟踪处理过的文件。当您在同一源存储桶上运行同一作业并同时写入相同/不同目标（并发 > 1）时，该作业将失败并显示此错误：

py4j.protocol.Py4JJavaError: An error occurred while callingz:com.amazonaws.services.glue.util.Job.commit.:com.amazonaws.services.gluejobexecutor.model.VersionMismatchException: Continuation update failed due to version mismatch. Expected version 2 but found version 3

解决方案：将并发设置为 1，或不同时运行该作业。

目前 Amazon Glue 书签不支持并发作业运行，因此提交将失败。

错误：启用作业书签后，作业正在重新处理数据

有些情况下，在您已启用 Amazon Glue 作业书签后，您的 ETL 作业还在重新处理早期运行中已处理的数据。检查此错误的以下常见原因：

最大并发数

确保作业的最大并发运行数为 1。有关更多信息，请参阅在 Amazon Glue 中添加作业中的最大并发数讨论。当您有多个带作业书签的并发作业并且最大并发数设置为 1 时，作业书签无法正常工作。

缺少作业对象

确保您的作业运行脚本以下面的提交结束：

job.commit()

当您包含此对象时，Amazon Glue 将记录作业运行的时间戳和路径。如果您使用相同路径再次运行该作业，Amazon Glue 将只处理新文件。如果您未包含此对象并且已启用作业书签，该作业将重新处理已处理的文件和新文件，并在作业的目标数据存储中创建冗余。

缺少转换上下文参数

转换上下文是 GlueContext 类中的一个可选参数，但如果不包含该参数，作业书签将不起作用。要解决此错误，请在创建时添加转换上下文参数 DynamicFrame，如下所示：

sample_dynF=create_dynamic_frame_from_catalog(database, table_name,transformation_ctx="sample_dynF") 

输入源

如果将关系数据库（JDBC 连接）用作输入源，则仅当表的主键按顺序排列时，作业书签才起作用。作业书签适用于新行，但不适用于更新的行。这是因为作业书签查找已存在的主键。如果您的输入源为 Amazon Simple Storage Service（Amazon S3），则这不适用。

上次修改时间

对于 Amazon S3 输入源，任务书签将通过检查对象的上次修改时间而不是文件名来验证哪些对象需要重新处理。如果您的输入源数据在上次作业运行后已修改，则再次运行作业时将重新处理这些文件。

错误：Amazon Glue 中 VPC 之间的失效转移行为

在 Amazon Glue 4.0 及之前版本中，以下过程用于作业的失效转移。

摘要：在提交作业运行时选择 Amazon Glue 连接。如果作业运行遇到一些问题（缺少 IP 地址、与源的连接、路由问题），则作业运行将失败。如果配置了重试，则 Amazon Glue 将使用相同的连接重试。