S3 DistCp (s3-dist-cp)

待复制数据的位置。这可以是一个HDFS或一个 Amazon S3 地点。

例如：‑‑src=s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node

数据的目标位置。这可以是一个HDFS或一个 Amazon S3 地点。

例如：‑‑dest=hdfs:///output

该正则表达式会筛选 ‑‑src 的部分数据的复制操作。如果指定的既不是 ‑‑srcPattern 也不是 ‑‑groupBy，那么会将 ‑‑src 的所有数据复制到 ‑‑dest。

如果正则表达式参数包含特殊字符，如星号（*），那么必须将正则表达式或整个 ‑‑args 字符串括在单引号（'）中。

例如：‑‑srcPattern=.*daemons.*-hadoop-.*

一种正则表达式，它使 S3 DistCp 连接与该表达式匹配的文件。例如，您可以使用此选项把一个小时内写入的所有日志文件组合成为单个文件。已连接文件的文件名是与该分组的正则表达式相匹配的值。

圆括号表明文件应使用的分组方式，与圆括号内的语句匹配的所有项目都组合成单个输出文件。如果正则表达式不包含带括号的语句，则集群将在 S3 DistCp 步骤上失败并返回错误。

如果正则表达式参数包含特殊字符，如星号（*），那么必须将正则表达式或整个 ‑‑args 字符串括在单引号（'）中。

如果指定 ‑‑groupBy，则仅复制与指定的模式匹配的文件。您不需要同时指定 ‑‑groupBy 和 ‑‑srcPattern。

例如：‑‑groupBy=.*subnetid.*([0-9]+-[0-9]+-[0-9]+-[0-9]+).*

要根据 ‑‑groupBy 选项创建的文件的大小，以兆字节 (MiB) 为单位。此值必须是整数。设置后‑‑targetSize，S3 DistCp 会尝试匹配此大小；复制文件的实际大小可能大于或小于此值。基于数据文件大小聚合任务，因此目标文件大小将可能匹配源数据文件大小。

如果由 ‑‑groupBy 连接的文件大于 ‑‑targetSize 的值，则将这些文件分解成部分文件，并在末尾附加一个数值按顺序命名。例如，连接组成 myfile.gz 的一个文件将被分解成部分文件，如：myfile0.gz、myfile1.gz 等。

例如：‑‑targetSize=2

指定从 Amazon S3 复制到已存在的文件DistCp 时 S3 HDFS 的行为。它向现有文件附加新文件数据。如果将 ‑‑appendToLastFile 与 ‑‑groupBy 结合使用，则将新数据附加到与相同的组匹配的文件。与 ‑‑targetSize 结合使用时，此选项也具有 ‑‑groupBy. 行为

指定用于所复制文件的压缩编解码器。取值可以是：gzip、gz、lzo、snappy 或 none。例如，您可以使用此选项将使用 Gzip 压缩的输入文件转换为经过LZO压缩的输出文件，或者在复制操作中解压缩这些文件。如果选择输出编解码器，则系统会在文件名末尾追加适当的扩展名 (例如，对于 gz 和 gzip，将追加扩展名 .gz)。如果不为 ‑‑outputCodec 指定值，则复制的文件不会出现压缩方面的变化。

例如：‑‑outputCodec=lzo

确保目标数据使用 Amazon 服务端密钥在 Amazon S3 中传输SSL并自动加密。使用 S3 检索数据时DistCp，对象会自动解密。如果尝试将未加密的对象复制到需要加密的 Amazon S3 存储桶，则操作将失败。有关更多信息，请参阅使用数据加密。

例如：‑‑s3ServerSideEncryption

如果复制操作成功，则此选项会导致 S3 DistCp 从源位置删除复制的文件。如果您以计划任务的形式将输出文件 (如日志文件) 从一个位置复制到另一个位置，又不想复制两次相同的文件，那么这个选项会非常有用。

例如：‑‑deleteOnSuccess

禁用分段上载。

例如：‑‑disableMultipartUpload

Amazon S3 分段上传中每个分段的大小，以 MiB 为单位。当 S3 复制的数据大于时，它会DistCp 使用分段上传。multipartUploadChunkSize要提高作业性能，可以增加每个分段的大小。默认大小为 128 MiB。

例如：‑‑multipartUploadChunkSize=1000

在输出文件之前加上序号。计数从 0 开始，除非 ‑‑startingIndex 指定一个不同的值。

例如：‑‑numberFiles

使用 ‑‑numberFiles 指定序列中的第一个数字。

例如：‑‑startingIndex=1

创建使用 Gzip 压缩的文本文件，其中包含 S3 DistCp 复制的所有文件的列表。

例如：‑‑outputManifest=manifest-1.gz

DistCp 使用‑‑outputManifest标志读取上次调用 S3 期间创建的清单文件。设置该‑‑previousManifest标志后，S3 会将清单中列出的文件DistCp 排除在复制操作之外。如果同时指定 ‑‑outputManifest 和 ‑‑previousManifest，则之前清单中列出的文件也会出现在新的清单文件中，但不会复制这些文件。

例如：‑‑previousManifest=/usr/bin/manifest-1.gz

需要先前在调用 S3 时创建的清单DistCp。如果将它设置为 false，则不指定之前的清单也不会生成错误。默认值为 true。

反转的行为‑‑previousManifest，使 S3 DistCp 使用指定的清单文件作为要复制的文件列表，而不是要从复制中排除的文件列表。

例如：‑‑copyFromManifest ‑‑previousManifest=/usr/bin/manifest-1.gz

指定上载文件时要使用的 Amazon S3 终端节点。此选项会同时设置源位置和目标位置的终端节点。如果未设置，则默认终端节点是 s3.amazonaws.com。有关 Amazon S3 终端节点的列表，请参阅区域和终端节点。

例如：‑‑s3Endpoint=s3.eu-west-1.amazonaws.com

目标为 Amazon S3 时要使用的存储类。有效值为STANDARD和 REDUCED _ REDUNDANCY。如果未指定此选项，S3 将DistCp 尝试保留存储类别。

例如：‑‑storageClass=STANDARD

Amazon S3 (s3://)、HDFS (hdfs:///) 或本地文件系统 (file:/) 中的文本文件，其中包含前缀列表，每行src一个前缀。

如果提供srcPrefixesFile，则 S3 DistCp 将不会列出 src 路径。相反，它将生成一个源列表，以作为列出在此文件中指定的所有前缀的组合结果。与 src 相比较的相对路径 (而不是这些前缀) 将用于生成目标路径。如果还指定了 srcPattern，则会将它应用于源前缀的组合列表结果以进一步筛选输入。如果使用了 copyFromManifest，则会复制清单中的对象并忽略 srcPrefixesFile。

例如：‑‑srcPrefixesFile=PATH