本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
配置使用其他云对象存储的 传输
借助 Amazon DataSync,您可以在 Amazon 存储服务与以下云对象存储提供商之间传输数据:
只有在其他云中的存储系统与 Amazon EFS 或 Amazon FSx 之间传输数据时,或者使用基本模式任务时,才需要使用 DataSync 代理。使用增强模式在其他云中的存储系统和 Amazon S3 之间传输数据时不需要代理。
不管是否使用代理,您还必须为云对象存储创建一个传输位置(具体而言,对象存储位置)。DataSync 可以将此位置用作您传输的源位置或目标位置。
向 DataSync 提供访问其他云对象存储的权限
DataSync 如何访问您的云对象存储取决于多个因素,包括您的存储是否与 Amazon S3 API 兼容,以及 DataSync 访问您的存储所需的权限和凭证。
Amazon S3 API 兼容性
您的云对象存储必须与以下 Amazon S3 API 操作兼容,DataSync 才能与之连接:
-
AbortMultipartUpload -
CompleteMultipartUpload -
CopyObject -
CreateMultipartUpload -
DeleteObject -
DeleteObjects -
DeleteObjectTagging -
GetBucketLocation -
GetObject -
GetObjectTagging -
HeadBucket -
HeadObject -
ListObjectsV2 -
PutObject -
PutObjectTagging -
UploadPart
存储权限和端点
您必须配置允许 DataSync 访问您的云对象存储的权限。如果您的对象存储是源位置,则 DataSync 需要对从中传输数据的存储桶具有读取和列出权限。如果您的对象存储是目标位置,则 DataSync 需要该存储桶的读取、列出、写入和删除权限。
DataSync 还需要一个端点(或服务器)来连接到您的存储。下表列举了 DataSync 可用于访问其他云对象存储的端点:
| 其他云提供商 | 终端节点 |
|---|---|
| Wasabi Cloud Storage |
|
| DigitalOcean Spaces |
|
| Oracle Cloud Infrastructure Object Storage |
|
|
Cloudflare R2 Storage |
|
|
Backblaze B2 Cloud Storage |
|
| NAVER Cloud Object Storage |
|
| Alibaba Cloud Object Storage Service |
|
| IBM Cloud Object Storage |
|
| Seagate Lyve Cloud |
|
重要
有关如何配置存储桶权限的详细信息以及存储端点的更新信息,请参阅您的云提供商的文档。
存储凭证
DataSync 还需要凭证,才能访问传输中涉及的对象存储桶。凭证可能是访问密钥和私有密钥或类似的东西,具体取决于您的云存储提供商如何引用这些凭证。
有关更多信息,请参阅您的云提供商的文档。
从其他云对象存储传输时的注意事项
在计划使用 DataSync 向或从其他云存储提供商传输对象时,有一些事项需要注意。
成本
与将数据移动入和移出其他云存储提供商相关的费用可能包括:
-
为您的 DataSync 代理运行 Amazon EC2
实例 -
使用 DataSync
传输数据,包括与您的云对象存储和 Amazon S3(如果 S3 是您的传输目标位置)相关的请求费用 -
将数据传入或传出您的云存储(请查看您的云提供商的定价)
-
将数据存储在 DataSync 支持的 Amazon 存储服务中
-
将数据存储在其他云提供商中(请查看您的云提供商的定价)
存储类
一些云存储提供商提供多种存储类别(类似于 Amazon S3),如果不先恢复,DataSync 就无法读取这些存储类别。例如,Oracle Cloud Infrastructure Object Storage 具有档案存储类别。您需要先恢复该存储类别中的对象,DataSync 才能传输它们。有关更多信息,请参阅您的云提供商的文档。
对象标签
并非所有云提供商都支持对象标签。即使支持对象标签,部分云提供商可能也不允许通过 Amazon S3 API 查询标签。无论何种情况,如果您尝试复制对象标签,都可能导致您的 DataSync 传输任务失败。
您可以通过在创建、启动或更新任务时取消勾选 DataSync 控制台中的复制对象标签复选框来避免这种情况。
传输到 Amazon S3
当传输到 Amazon S3 时,DataSync 无法传输大于 5 TB 的对象。DataSync 也只能复制最多 2 KB 的对象元数据。
创建您的 DataSync 代理
只有在其他云中的存储系统与 Amazon EFS 或 Amazon FSx 之间传输数据时,或者使用基本模式任务时,才需要使用 DataSync 代理。使用增强模式在其他云中的存储系统和 Amazon S3 之间传输数据时不需要代理。本部分介绍了如何在 Amazon 中的虚拟私有云(VPC)中的 Amazon EC2 实例上部署和激活代理。
为您的其他云对象存储创建传输位置
您可以将 DataSync 配置为使用您的云对象存储作为源位置或目标位置。
开始前的准备工作
确保您知道 DataSync 是如何访问您的云对象存储的。您还需要一个可以连接到您的云对象存储的 DataSync 代理。
打开 Amazon DataSync 控制台,地址:https://console.aws.amazon.com/datasync/
。 在左侧导航窗格中,展开数据传输,然后选择 位置和 创建位置。
-
对于 位置类型,选择 对象存储。
-
对于服务器,输入 DataSync 可以用来访问您的云对象存储的端点:
-
Wasabi Cloud Storage –
S3.region.wasabisys.com -
DigitalOcean Spaces –
region.digitaloceanspaces.com -
Oracle Cloud Infrastructure Object Storage –
namespace.compat.objectstorage.region.oraclecloud.com -
Cloudflare R2 Storage –
account-id.r2.cloudflarestorage.com -
Backblaze B2 Cloud Storage –
S3.region.backblazeb2.com -
NAVER Cloud Object Storage —
(大多数地区)region.object.ncloudstorage.com -
Alibaba Cloud Object Storage Service –
region.aliyuncs.com -
IBM Cloud Object Storage –
s3.region.cloud-object-storage.appdomain.cloud -
Seagate Lyve Cloud –
s3.region.lyvecloud.seagate.com
-
-
在存储桶名称中,输入您要向其传输数据或从中传输数据的对象存储桶的名称。
-
对于文件夹,请输入对象前缀。DataSync 仅传输带有此前缀的对象。
-
如果传输需要代理,请选择使用代理,然后选择可以与云对象存储连接的 DataSync 代理。
-
展开其他设置。对于服务器协议,请选择 HTTPS。对于服务器端口,请选择 443。
-
向下滚动到身份验证部分。确保选中需要凭证复选框,然后为 DataSync 提供您的存储凭证。
-
在访问密钥中,输入用于访问您的云对象存储的 ID。
-
在私有密钥中,提供用于访问您的云对象存储的私有密钥。您可以直接输入密钥,也可以指定包含该密钥的 Amazon Secrets Manager 密钥。有关更多信息,请参阅为存储位置提供凭证。
-
-
(可选)在键和值字段中输入值以标记位置。
标签可帮助您管理、筛选和搜索 Amazon 资源。我们建议至少为您的位置创建一个名称标签。
-
选择创建位置。
后续步骤
为云对象存储创建 DataSync 位置后,您就可以继续设置传输。下面是要考虑的一些后续步骤:
-
如果您还没有准备好,请创建另一个您计划将数据传入或传出 Amazon 的位置。
-
了解 DataSync 如何处理对象存储位置的元数据和特殊文件。
-
配置您数据的传输方式。例如,也许您只想传输数据的子集。
重要
确保您正确地配置了 DataSync 复制对象标签的方式。有关更多信息,请参阅有关对象标签的注意事项。
-
开始传输。