Amazon Glacier
开发人员指南 (API 版本 2012-06-01)
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 Amazon AWS 入门

使用适用于 Java 的 AWS 开发工具包分段上传大型档案

适用于 Java 的 AWS 开发工具包所提供的高级 API 和低级 API 都提供了一个方法来上传大型档案(请参阅“在 Amazon Glacier 中上传档案”)。

  • 该高级 API 提供了您可以用来上传任何大小的档案的方法。根据您要上传的文件,该方法会在单一操作中上传档案或者使用 Amazon Glacier 中的分段上传支持来分段上传档案。

  • 该低级 API 紧密映射到底层 REST 实施。因此,它提供了一个在单一操作中上传较小档案的方法,以及一组支持较大档案的分段上传的方法。此部分说明了使用低级 API 分段上传大型档案的操作。

有关高级和低级 API 的更多信息,请参阅“在 Amazon Glacier 中使用 AWS SDK for Java”。

使用AWS SDK for Java的高级 API 分段上传大型档案

您可以使用高级 API 的相同方法上传小型或大型档案。根据档案大小,高级 API 方法会决定是在单个操作中上传档案,还是使用 Amazon Glacier 提供的分段上传 API 上传档案。有关更多信息,请参阅 使用AWS SDK for Java的高级 API 上传档案

使用AWS SDK for Java低级 API 分段上传大型档案

对于上传的粒度控制,您可以使用低级 API(您可以在其中配置请求以及处理响应)。以下是使用AWS SDK for Java分段上传大型档案的步骤。

  1. 创建 AmazonGlacierClient 类(客户端)的实例。

    您需要指定您要在其中保存档案的 AWS 区域。您使用此客户端执行的所有操作都会应用到该区域。

  2. 通过调用 initiateMultipartUpload 方法启动分段上传。

    您需要提供要上传档案的文件库名称、要上传的档案段的大小,也可选择提供相关描述。您可以通过创建 InitiateMultipartUploadRequest 类的实例提供此信息。作为响应,Amazon Glacier 会返回上传 ID。

  3. 通过调用 uploadMultipartPart 方法上传段。

    对于要上传的每一段,您需要提供文件库名称、将在此段中上传的最终组合档案的字节范围、段数据的校验和,以及上传 ID。

  4. 通过调用 completeMultipartUpload 方法完成分段上传。

    您需要提供上传 ID、整个档案的校验和、档案大小(您上传的所有段的综合大小),以及文件库名称。Amazon Glacier 会使用上传的段拼组档案并返回档案 ID。

示例:使用AWS SDK for Java分段上传大型档案

以下 Java 代码示例使用AWS SDK for Java将档案上传到文件库 (examplevault)。有关如何运行以下示例的分步说明,请参阅使用 Eclipse 运行 Amazon Glacier 的 Java 示例。您需要更新待上传文件名称旁所显示的代码。

注意

此示例对 1MB 到 1GB 的段大小有效。但是,Amazon Glacier 最大支持 4GB 的段大小。

import java.io.ByteArrayInputStream; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.security.NoSuchAlgorithmException; import java.util.Arrays; import java.util.Date; import java.util.LinkedList; import java.util.List; import com.amazonaws.AmazonClientException; import com.amazonaws.AmazonServiceException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.glacier.AmazonGlacierClient; import com.amazonaws.services.glacier.TreeHashGenerator; import com.amazonaws.services.glacier.model.CompleteMultipartUploadRequest; import com.amazonaws.services.glacier.model.CompleteMultipartUploadResult; import com.amazonaws.services.glacier.model.InitiateMultipartUploadRequest; import com.amazonaws.services.glacier.model.InitiateMultipartUploadResult; import com.amazonaws.services.glacier.model.UploadMultipartPartRequest; import com.amazonaws.services.glacier.model.UploadMultipartPartResult; import com.amazonaws.util.BinaryUtils; public class ArchiveMPU { public static String vaultName = "examplevault"; // This example works for part sizes up to 1 GB. public static String partSize = "1048576"; // 1 MB. public static String archiveFilePath = "*** provide archive file path ***"; public static AmazonGlacierClient client; public static void main(String[] args) throws IOException { ProfileCredentialsProvider credentials = new ProfileCredentialsProvider(); client = new AmazonGlacierClient(credentials); client.setEndpoint("https://glacier.us-west-2.amazonaws.com/"); try { System.out.println("Uploading an archive."); String uploadId = initiateMultipartUpload(); String checksum = uploadParts(uploadId); String archiveId = CompleteMultiPartUpload(uploadId, checksum); System.out.println("Completed an archive. ArchiveId: " + archiveId); } catch (Exception e) { System.err.println(e); } } private static String initiateMultipartUpload() { // Initiate InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest() .withVaultName(vaultName) .withArchiveDescription("my archive " + (new Date())) .withPartSize(partSize); InitiateMultipartUploadResult result = client.initiateMultipartUpload(request); System.out.println("ArchiveID: " + result.getUploadId()); return result.getUploadId(); } private static String uploadParts(String uploadId) throws AmazonServiceException, NoSuchAlgorithmException, AmazonClientException, IOException { int filePosition = 0; long currentPosition = 0; byte[] buffer = new byte[Integer.valueOf(partSize)]; List<byte[]> binaryChecksums = new LinkedList<byte[]>(); File file = new File(archiveFilePath); FileInputStream fileToUpload = new FileInputStream(file); String contentRange; int read = 0; while (currentPosition < file.length()) { read = fileToUpload.read(buffer, filePosition, buffer.length); if (read == -1) { break; } byte[] bytesRead = Arrays.copyOf(buffer, read); contentRange = String.format("bytes %s-%s/*", currentPosition, currentPosition + read - 1); String checksum = TreeHashGenerator.calculateTreeHash(new ByteArrayInputStream(bytesRead)); byte[] binaryChecksum = BinaryUtils.fromHex(checksum); binaryChecksums.add(binaryChecksum); System.out.println(contentRange); //Upload part. UploadMultipartPartRequest partRequest = new UploadMultipartPartRequest() .withVaultName(vaultName) .withBody(new ByteArrayInputStream(bytesRead)) .withChecksum(checksum) .withRange(contentRange) .withUploadId(uploadId); UploadMultipartPartResult partResult = client.uploadMultipartPart(partRequest); System.out.println("Part uploaded, checksum: " + partResult.getChecksum()); currentPosition = currentPosition + read; } fileToUpload.close(); String checksum = TreeHashGenerator.calculateTreeHash(binaryChecksums); return checksum; } private static String CompleteMultiPartUpload(String uploadId, String checksum) throws NoSuchAlgorithmException, IOException { File file = new File(archiveFilePath); CompleteMultipartUploadRequest compRequest = new CompleteMultipartUploadRequest() .withVaultName(vaultName) .withUploadId(uploadId) .withChecksum(checksum) .withArchiveSize(String.valueOf(file.length())); CompleteMultipartUploadResult compResult = client.completeMultipartUpload(compRequest); return compResult.getLocation(); } }