在 Snowball Edge 上传入或传出兼容 S3 的存储
使用 Amazon DataSync,您可以在 Amazon Snowball Edge 设备或集群上兼容 Amazon S3 的存储与以下任何 Amazon 存储服务之间传输对象:
先决条件
在开始之前,请务必执行以下操作:
-
在您计划向其或从其传输数据的 Amazon Web Services 区域 创建了一个 Amazon 存储资源。例如,这可能是在美国东部(弗吉尼亚州北部)的 S3 存储桶或 Amazon EFS 文件系统。
-
为进出本地存储环境的流量建立了广域网(WAN)连接。例如,您可以与 Amazon Direct Connect 建立这种连接。
在创建 DataSync 代理时,您需要配置此 WAN 连接,这样 DataSync 就可以在本地的兼容 Amazon S3 的存储与位于 Amazon 的存储资源之间传输数据。
-
下载并安装了 Snowball Edge 客户端
。
向 DataSync 提供访问权限,以访问兼容 S3 的存储
要访问兼容 Amazon S3 的存储桶,DataSync 需要以下内容:
-
Snowball Edge 设备或集群上的用户凭证,它们可以访问您要向其或从其传输数据的存储桶。
-
HTTPS 证书,允许 DataSync 验证 DataSync 代理与设备或集群上的
s3api端点之间连接的真实性。
获取访问 S3 存储桶的用户凭证
对于能够在 Snowball Edge 设备或集群上访问您正在使用的存储桶的用户,DataSync 需要访问密钥和私有密钥。
要获取访问存储桶的用户凭证
-
打开终端并运行 Snowball Edge 客户端。
有关运行 Snowball Edge 客户端的更多信息,请参阅Amazon Snowball Edge开发者指南中的使用 Snowball Edge 客户端。
-
要获取与您的设备或集群关联的访问密钥,请运行以下
snowballEdge命令:snowballEdge list-access-keys -
在输出中,找到 DataSync 将使用的存储桶的访问密钥(例如
AKIAIOSFODNN7EXAMPLE)。 -
要获取秘密访问密钥,请运行
snowballEdge命令。将替换为您在上一步找到的访问密钥。access-key-for-datasyncsnowballEdge get-secret-access-key --access-key-idaccess-key-for-datasync输出包括访问密钥的相应私有密钥(例如
wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY)。 -
将访问密钥和私有密钥保存在您能记住的地方。
在为传输配置 DataSync 源位置时,您会需要这些密钥。
获取 s3api 端点连接的证书
您需要一个 HTTPS 证书,该证书可以验证 DataSync 代理与 Snowball Edge 设备或集群上的 s3api 端点之间连接的真实性。
要获取 s3api 端点连接的证书
-
在 Snowball Edge 客户端,运行以下
list-certificates命令:snowballEdge list-certificates在输出中,记下
CertificateArn值。这是证书的 Amazon 资源名称(ARN)。您需要 ARN 才能获取证书内容。 -
运行以下
get-certificate命令,指定您刚刚检索到的证书 ARN:snowballEdge get-certificate --certificate-arn arn:aws:snowball-device:::certificate/78EXAMPLE516EXAMPLEf538EXAMPLEa7 -
复制输出,包括
BEGIN CERTIFICATE和END CERTIFICATE行,并将其另存为.pem文件。get-certificate输出的示例:-----BEGIN CERTIFICATE-----Certificate-----END CERTIFICATE-----
在为传输创建 DataSync 源位置时,指定此 .pem 文件。
在本地存储环境中创建 DataSync 代理
在传输过程中,DataSync 使用 代理 对 Snowball Edge 设备或集群上兼容 Amazon S3 的存储进行读写操作。
该代理必须部署在它能通过网络连接到您的设备或集群的本地存储环境中。例如,您可以在对集群具有本地网络访问权限的 VMware ESXi 虚拟机监控器上运行代理。
要在本地存储环境中创建 DataSync 代理
-
确保 DataSync 代理可以在您的虚拟机监控器上运行,并确保为代理分配足够的虚拟机资源。
-
在本地环境中部署该代理。
有关说明,请参阅下列主题,具体取决于您部署代理所在的虚拟机监控器的类型:
-
警告
我们不建议在 Amazon EC2 代理上部署代理来访问本地存储,因为这会增加网络延迟。
-
配置您的网络以便允许代理与兼容 Amazon S3 存储之间的以下流量:
From 目的 协议和端口 DataSync 代理
设备或集群上
s3api端点的虚拟网络接口 (VNI)。如果您有集群,则可以是任何s3api端点 VNI。TCP 443 (HTTPS) 如果您需要在设备或集群上查找 VNI,请参阅在 Snowball Edge 上描述虚拟网络接口。
-
选择服务端点,供代理用来与 DataSync 服务通信。
为传输配置源位置
创建代理后,您可以配置 DataSync 传输的源位置。
注意
以下说明假设您从兼容 Amazon S3 的存储进行传输,但也可以将此位置用于目标传输。
使用 DataSync 控制台配置源位置
打开 Amazon DataSync 控制台,地址:https://console.aws.amazon.com/datasync/
。 -
在左侧导航窗格中,展开数据传输。选择任务,然后选择创建任务。
-
在 Configure source location (配置源位置) 页面中,选择 Create a new location (创建新位置)。
-
对于 位置类型,选择 对象存储。
-
对于代理,请选择您在本地存储环境中创建的 DataSync 代理。
-
对于服务器,请输入兼容 Amazon S3 的存储所用
s3api端点的 VNI。如果您拥有 Snowball Edge 集群而不是单个设备,则可以指定该集群的任何
s3api端点 VNI。 -
对于存储桶名称,请输入您要从其传输对象的兼容 Amazon S3 的存储桶的名称。
-
对于 文件夹,请输入对象前缀。
DataSync 仅传输带有此前缀的对象。
-
要配置与 Snowball Edge 设备或集群的 DataSync 连接,请展开其他设置并执行以下操作:
-
对于服务器协议,请选择 HTTPS。
-
对于服务器端口,请输入
443。 -
对于证书,请选择s3api端点连接的证书文件。
-
-
选择需要凭证,然后输入访问密钥和私有密钥以访问 Snowball Edge 设备或集群上兼容 Amazon S3 的存储桶。
-
选择下一步。
配置传输的目标位置
传输的目标位置必须位于您创建代理所在的同一 Amazon Web Services 区域 和 Amazon Web Services 账户 中。
开始之前:确保已为传输配置了源位置。
使用 DataSync 控制台配置传输的目标位置
-
在配置目标位置页面上,选择创建新位置,对于要将对象传输到的Amazon存储资源,则选择选择现有位置。
如果您要创建一个新位置,请参阅下列主题之一:
-
配置完目标位置后,请选择下一步。
配置传输设置
借助 DataSync,您可以指定一个传输计划,自定义验证数据完整性的方式,以及指定是否只传输对象子集等。
开始之前:确保已为传输配置了目标位置。
要使用 DataSync 控制台配置传输设置
-
在配置设置页面上,更改传输设置或使用默认值。
有关这些设置的更多信息,请参阅 选择 Amazon DataSync 要传输的数据。
-
选择下一步。
-
查看传输详情,然后选择创建任务。
开始传输
创建传输任务后,您就可以开始转移数据了。有关使用 DataSync 控制台或 Amazon CLI 来启动任务的说明,请参阅启动任务。
限制
-
如果您的源存储系统使用 NFS 协议(如 Amazon EFS),则 DataSync 无法将带有硬链接的文件传输到 Snowball Edge 设备。
-
DataSync 无法将长度超过 1024 字节的对象从 Snowball Edge 设备传输到 S3 存储桶。有关更多信息,请参阅 Amazon S3 用户指南。