连接器和实用工具 - Amazon EMR
在 S3 DistCp 任务失败后进行清理
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

连接器和实用工具

Amazon EMR 提供了多个连接器和实用工具，用于将其他 Amazon 服务作为数据源进行访问。您通常可在一个程序内访问这些服务中的数据。例如，您可以在 Hive 查询、Pig 脚本或 MapReduce 应用程序中指定 Kinesis 流，然后对该数据进行操作。

主题

在 S3 DistCp 任务失败后进行清理

如果 S3 DistCp 无法复制部分或全部指定文件，则命令或集群步骤将失败并返回非零错误代码。如果发生这种情况，S3 DistCp 不会清理部分复制的文件。您必须手动删除它们。

部分复制的文件以 S3 DistCp 作业的唯一标识符保存到 HDFS tmp 目录中的子目录中。您可以在作业的标准输出中找到此 ID。

例如，对于 ID 为 S3 的DistCp 作业4b1c37bb-91af-4391-aaf8-46a6067085a6，您可以连接到集群的主节点并运行以下命令来查看与该任务关联的输出文件。

hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output

该命令将返回与以下类似的文件列表：

Found 8 items
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r‑‑r‑‑   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006

然后，您可以运行以下命令来删除目录和所有内容。

hdfs dfs rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6