AWS Snowball
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

本指南适用于 Snowball Edge。如果您正在查找 Snowball 的相关文档,请参阅 AWS Snowball 用户指南

批量处理小文件

因为要进行加密,每个复制操作都会产生一些开销。要加快传输小文件的过程,您在一个存档中批量传输它们。批量处理文件时,在将它们导入到 Amazon S3 中时可以进行自动提取 (如果以一个受支持的存档格式对它们进行批处理)。

通常,1 MB 或更小的文件应包含在批处理中。对您可以在一个批处理中拥有的文件数量没有硬限制,虽然我们建议您将批处理限制在约 10,000 个文件。一个批处理中的文件超过 100,000 个可能会影响您返回设备后这些文件导入 Amazon S3 的速度。我们建议每个批次的总大小不超过 100 GB。

批处理文件是一个手动过程,您管理该过程。批处理文件后,请使用带 --metadata snowball-auto-extract=true 选项的 AWS CLI cp 命令将它们传输到 Snowball Edge 设备。如果指定 snowball-auto-extract=true,在数据导入 Amazon S3 时,只要批处理文件的大小不超过 100 GB,将自动提取存档文件的内容。

注意

任何大于 100 GB 的批次在导入到 Amazon S3 时都不会被提取。

批量处理小文件

  1. 决定要以哪种格式批处理您的小文件。自动提取功能支持 TARZIPtar.gz 格式。

  2. 确定要批量处理那些小文件,包括它们的大小和要批量处理的文件的总数。

  3. 如果您使用的是 Linux,您可以在用于将文件传输到设备的相同命令行中批处理这些文件,如以下示例所示。

    tar -cf - /Logs/April | aws s3 cp - s3://mybucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

    注意

    或者,您可以使用您选择的存档实用工具将文件批量处理到一个或多个大型档案。但是,这种方法需要额外的本地存储以保存档案,然后再将其传输到 Snowball。

  4. 重复此步骤,直到您已存档所有要使用 Snowball Edge 传输到 Amazon S3 的小文件。

  5. 将存档的文件传输到 Snowball。如果您希望自动提取数据,且使用了在上述步骤 1 中提到的一种受支持的存档格式,请使用带 - -metadata snowball-auto-extract=true 选项的 AWS CLI cp 命令。