AWS Snowball
用户指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

snowball cp 命令的选项

在下文中,您可以找到有关 snowball cp 命令选项的信息以及使用此命令的语法指南。您可使用此命令将数据从您的工作站传输到 Snowball 中。

命令选项 说明
-b--batch

字符串。

通过将小文件批处理到更大的 .snowballarchives 文件中可大大提高小文件的传输性能。批处理在默认情况下处于启用状态。您可以更改以下默认值以指定何时将文件包含在批处理中:

  • 默认情况下,1 MB 或更小的文件将包含在批处理中。您可以通过指定带新的最大文件大小 (KB) 的 --batchFileSizeInKBLimit 选项来更改此设置。最大文件大小的范围介于 100 KB 和 1 MB 之间。超过指定最大文件大小的文件将作为单独的文件传输至 Snowball 并且不包含在任何批处理中。

  • 默认情况下,批处理包含多达 10000 个文件。可通过设置 --batchNumOfFiles 选项来更改此限制。一个批处理中的文件数的范围介于 5000 和 100000 之间。

导入到 Amazon S3 的过程中,将提取批处理,原始文件将导入 Amazon S3 中。导入过程中仅自动提取在复制命令与此选项结合使用时创建的 .snowballarchives 文件。

--checksum

默认处于启用状态并设置为 false。

计算具有相同名称的所有源文件和目标文件的校验和,然后比较校验和。此命令选项在恢复复制操作时使用。在复制操作期间使用此选项会增加计算开销。

注意

如果不使用此选项,那么当您恢复复制操作时,只会比较文件名称和日期,且比较速度较快。

-f--force

默认处于启用状态并设置为 false。此命令选项有两种使用情形:

  • 当与复制命令结合使用时,-f 将覆盖目标中与正在传输内容的路径和名称相匹配的所有现有内容。

  • 当在运行复制命令后使用时,-f 将替代 --resume 命令选项。您的复制操作将重新从头开始执行,并覆盖目标中具有相同路径和名称的所有现有内容。

注意

上述使用情形相互之间并不排斥。建议您谨慎使用 -f,以防延迟数据传输。

-h--help

默认处于启用状态并设置为 false。

在终端上显示 snowball cp 命令的使用信息。

--noBatch

字符串。

禁用小文件的自动批处理。如果您要复制一个目录,并且您使用此选项,则还必须使用 --recursive 选项。此选项是隐藏的。出于性能原因,我们不建议您使用它,除非您的使用案例需要它。

-r--recursive

默认处于启用状态并设置为 false。

snowball cp 命令操作期间,以递归方式遍历目录。

-s--stopOnError

默认处于启用状态并设置为 false。

如果遇到错误,则终止 snowball cp 命令的操作。

重要

HDFS 数据传输不支持 Snowball 客户端的复制命令的 --batch 选项。如果必须传输 HDFS 集群中的大量小型文件,建议您寻找一种能将这些文件收集到较大存档文件中的方法,然后再进行传输。但是,这些存档文件应是要导入到 Amazon S3 中的文件。如果您希望文件保持原始状态,则需要在导入存档之后将文件从存档中删除。

Snowball 日志

当您在本地数据中心与 Snowball 之间传输数据时,Snowball 客户端会自动生成纯文本日志并将其保存到您的工作站中。果您在传输数据到 Snowball 期间遇到意外错误,请制作关联日志文件的副本。在发送到 AWS Support 的消息中包含错误以及所遇到问题的简要说明。

日志将保存在以下位置,具体取决于您工作站的操作系统:

  • Windows – C:\Users\<username>\.aws\snowball\logs\

  • Mac – /Users/<username>/.aws/snowball/logs/

  • Linux – /home/<username>/.aws/snowball/logs/

日志使用文件名 snowball_<year>_<month>_<date>_<hour> 进行保存。hour 值基于工作站的本地系统时间而定,且采用 24 小时制。

示例日志名称

snowball_2016_03_28_10.log

每个日志最大的文件大小为 5 MB。日志达到该大小时,将生成新文件,而日志在新文件中继续写入。如果在与旧日志的同一个小时内开始了其他日志,则第一个日志的名称后将附加 .1,第二个日志的名称将附加 .2,以此类推。

重要

日志以纯文本格式保存,包含所传输文件的文件名和路径信息。为保护此类敏感信息,强烈建议您在与日志关联的任务状态更改为 completed 后删除这些日志。

本页内容: