示例Amazon DataSync任务场景 - Amazon DataSync
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

示例Amazon DataSync任务场景

以下各节为您演练了如何为不同的传输类别创建Amazon DataSync类别创建任务进行演练。

创建在自管理存储和之间传输数据的任务Amazon

如果您之前创建过某一任务并要创建其他任务,请使用以下过程。

创建任务
  1. 通过 https://console.aws.amazon.com/datasync/ 打开Amazon DataSync主机。

  2. 在左侧导航窗格中,选择 Task,然后选择创建任务

  3. Configure source location (配置源位置) 页面上,如果要对源使用新位置,请选择 Create new location (创建新位置) 并配置新位置。提供配置设置,然后选择 Next (下一步)。有关如何创建位置的说明,请参阅与Amazon DataSync地点合作

    如果您要使用之前创建的源位置,请选择 Choose existing location (选择现有位置),从列表中选择所需的源位置,然后选择 Next (下一步)

    有关 step-by-step 说明,请参见为创建源位置Amazon DataSync

创建要在云端位置之间传输的任务

使用以下说明在 Amazon EC2 实例上设置 DataSync 代理以进行数据传输。本节中的示例涵盖以下使用案例:

创建任务以从云内 NFS 传输到云中 NFS 或 Amazon S3

使用以下说明将数据从云内 NFS 文件系统传输到Amazon。要执行此传输, DataSync 代理必须位于部署文件系统的相同Amazon Web Services 账户位置。Amazon Web Services 区域此类传输包括从 EFS 到 EFS 的传输、从自管理 NFS 到 Amazon EFS 的传输以及向 Amazon S3 的传输。有关云中 NFS 到云中 NFS 或 Amazon S3 的工作原理的信息,请参阅将数据从云文件系统传输到另一个云文件系统或 Amazon S3

注意

在源 EFS 或自我管理的 NFS 文件系统所在的Amazon Web Services 区域和Amazon Web Services 账户中部署代理。

将您的 DataSync 代理部署为 Amazon EC2 实例以从云中读取文件

将 DataSync 代理部署为 Amazon EC2 实例
  1. 从源 EFS 所在Amazon Web Services 账户的位置,使用 Amazon EC2 启动向导中的亚马逊系统映像 (AMI) 启动代理。使用以下 URL 启动 AMI。

    https://console.aws.amazon.com/ec2/v2/home?region=source-efs-or-nfs-region#LaunchInstanceWizard:ami=ami-id

    在该 URL 中,将 source-efs-or-nfs-regionami-id 替换为您自己的值。

    AMI 启动后,“选择实例类型” 将显示在 Amazon EC2 控制台上。有关通过的 AMI ID 列表Amazon Web Services 区域,请参阅将您的代理作为一个 Amazon EC2 实例进行部署

  2. 为您的使用案例选择一种建议的实例类型,然后选择 Next: Configure Instance Details (下一步: 配置实例详细信息)。有关建议的实例类型,请参阅 Amazon EC2 实例要求

  3. Configure Instance Details (配置实例详细信息) 页面中,执行以下操作:

    1. 对于网络,选择您的源 EFS 或 NFS 所在的 VPC。

    2. 自动分配公有 IP 选择一个值。如果希望能够从公共 Internet 中访问您的实例,请将自动分配公有 IP 设置为启用。否则,请将自动分配公有 IP 设置为禁用。如果未分配公有 IP 地址,请在使用其私有 IP 地址的 VPC 中激活代理。

      当您从云端 NFS 传输文件时,为了提高性能,我们建议您选择您的 NFS 服务器所在的置放群组

  4. 选择下一步:添加存储。代理不需要额外的存储空间,因此,您可以跳过此步骤,然后选择 Next: Add tags (下一步:添加标签)

  5. (可选)在添加标签页面上,您可以向您的 Amazon EC2 实例添加标签。当您在页面上完成后,选择 Next: Configure Security Group (下一步:配置安全组)

  6. Configure Security Group (配置安全组) 页面上,执行以下操作:

    1. 确保所选安全组允许从您计划用于激活代理的 Web 浏览器到 HTTP 端口 80 的入站访问。

    2. 确保源 EFS 或 NFS 的安全组允许来自代理的入站流量。此外,请确保代理允许流向源 EFS 或 NFS 的出站流量。流量经由标准 NFS 端口 2049。

    有关的一组完整网络要求 DataSync,请参见Amazon DataSync网络要求

  7. 选择审核和启动以检查您的配置,然后选择启动以启动您的实例。请记得使用您有权访问的密钥对。将显示一个确认页面,指出您的实例正在启动。

  8. 选择 View Instanc es 以关闭确认页面并返回 Amazon EC2 实例屏幕。当您启动实例时,其初始状态为 pending (待处理)。实例启动后,其状态将更改为 running (正在运行)。此时,已为其分配了公共域名系统 (DNS) 名称和 IP 地址,可以在 “描述” 选项卡中找到。

  9. 如果您将自动分配公有 IP 设置为启用,则选择您的实例,然后在描述选项卡中记下公有 IP 地址。您之后将使用该 IP 地址连接到您的同步代理。

    如果您将自动分配公有 IP 设置为禁用,则启动或使用 VPC 中的现有实例以激活代理。在这种情况下,您可以使用同步代理的私有 IP 地址从 VPC 中的该实例激活代理。

创建从 Amazon EFS 或自管理存储传输数据的任务

接下来,您创建一个任务来传输数据。

注意

在目标 EFS 或 Amazon S3 存储桶所在的Amazon Web Services 区域和Amazon Web Services 账户中创建任务。

创建任务
  1. 在目标 Amazon EFS 文件系统Amazon Web Services 区域所在的位置打开 DataSync 控制台。目标 EFS 或 Amazon S3 存储桶必须位于同一个中Amazon Web Services 账户。

  2. 选择 “创建任务”,然后在 “用例选项” 页面Amazon上选择 “本地到”,然后选择 “创建代理”。

  3. 创建代理向导的激活部分中,输入 Amazon EC2 实例的 IP 地址作为代理地址,然后选择获取密钥。此 IP 地址可以是私有或公有地址。有关更多详情,请参阅将 DataSync 代理部署为 Amazon EC2 实例的步骤 9。

    您的浏览器连接到此 IP 地址,以便从代理中获取唯一的激活密钥。此密钥可安全地将您的代理与您的代理关联Amazon Web Services 账户。不需要能够从您的网络外部访问该 IP 地址,但必须能够从浏览器中访问该 IP 地址。

  4. 输入便于以后轻松识别的代理名称,完成后选择 Create agent (创建代理)。(可选)您可以将标签添加到代理。

  5. 从左侧导航窗格中选择 Task(任务)。

  6. 选择 “本地部署到”Amazon,然后选择 “下一步” 以打开 “源配置” 页面。

  7. Source location options (源位置选项),依次选择 Create new location (创建新位置)Network File System (NFS) or Server Message Block (SMB) (网络文件系统 (NFS) 或服务器消息块 (SMB))。填充以下选项:

    • 对于代理,从列表中选择您新创建的代理。

    • 如果您正在从 EFS 进行复制,请执行以下操作:

      • 对于 NFS Server (NFS 服务器),输入源 EFS 的 DNS name (DNS 名称)

      • 对于装载路径,输入/(正斜杠)并选择下一步

    • 如果要从自管理 NFS 或 SMB 进行复制,请执行以下操作:

      • 对于 NFS Server (NFS 服务器),输入源 NFS 的私有 DNS 或 IP 地址。

      • 对于装载路径,输入您的 NFS 服务器导出的路径,然后选择下一步。有关更多信息,请参阅创建 NFS 位置

  8. 选择 Create new location (创建新位置)。这是数据传输的目标位置。填充以下选项:

    • 如果要复制到 EFS,请执行以下操作:

      • 对于 Location type (位置类型),选择 EFS

      • 选择您的目标 EFS。

      • 对于装载路径,输入/(正斜杠)。

      • 对于子网安全组,请使用默认设置,然后选择下一步

    • 如果您要复制到 Amazon S3,请执行以下操作:

      • 对于位置类型,选择 Amazon S3 存储桶。

      • 对于 Amazon S3 存储桶,选择您的源 Amazon S3 存储桶。

      • 对于 Folder (文件夹),选择用于传输的文件夹前缀,或将其留为空白。

      • 选择目标 Amazon S3 存储桶和可选文件夹。 DataSync 可以生成Amazon Identity and Access Management (IAM) 角色来访问您的存储桶,也可以自己创建。

  9. 选择 Next (下一步),然后(可选)给任务命名并添加标签。

  10. 在页面底部选择或创建 Amazon Log CloudWatch s 日志组,然后选择 “下一步”。有关使用 CloudWatch 日志的更多信息,请参阅允许 DataSync 将日志上传到亚马逊 CloudWatch 日志组

  11. 检查下一页上的设置,然后选择 Create task (创建任务)

  12. 选择 Start (启动) 运行您刚刚创建的任务以开始传输数据。

创建从 Amazon S3 传输到云中 NFS 的任务

按照以下说明将数据从 Amazon S3 传输到位于同一服务器Amazon Web Services 账户且Amazon Web Services 区域部署代理的云中 NFS 文件系统。这种方法包括从 Amazon S3 传输到 EFS,或者从 Amazon S3 传输到自我管理的 NFS。下图说明了这种类型的传输。有关 Amazon S3 如何运作于云中 NFS 的信息,请参阅将 Amazon S3 的数据传输到 cloud 文件系统上

在 Amazon EC2 实例上部署 DataSync 代理以写入您的目标位置

首先,在目标 EFS 文件系统或自管理 NFS 服务器所在的 Amazon EC2 实例上部署 DataSync 代理。Amazon Web Services 区域Amazon Web Services 账户

部署代理
  • 使用 Amazon EC2 启动向导从选定的 AMI 启动代理。为此,请使用以下 URL。

    https://console.aws.amazon.com/ec2/v2/home?region=DESTINATION-EFS-or-NFS-REGION#LaunchInstanceWizard:ami=AMI-ID.

    在 URL 中,用您自己的 AMI ID 替换Amazon Web Services 区域和 AMI ID。您将会被重定向到 Amazon EC2 控制台上的选择一个实例类型页面。有关通过的 AMI ID 列表Amazon Web Services 区域,请参阅将您的代理作为一个 Amazon EC2 实例进行部署

创建从 Amazon S3 传输数据的任务

接下来,您创建一个任务来传输数据。

注意

在源 Amazon S3 存储桶Amazon Web Services 区域所在的Amazon Web Services 账户和中创建任务。

创建将数据从 Amazon S3 传输到 EFS 或自我管理的 NFS 或 SMB 的任务
  1. 在您的源 Amazon S3 桶Amazon Web Services 区域所在的 DataSync 控制台中打开。

  2. 选择创建任务,然后选择本地Amazon用例。

  3. 选择 Create agent (创建代理)

  4. 如果您将自动分配公有 IP 设置为启用,则选择您的实例,然后在描述选项卡中记下公有 IP 地址。您之后将使用该 IP 地址连接到您的同步代理。

    如果您将自动分配公有 IP 设置为禁用,则启动或使用 VPC 中的现有实例以激活代理。在这种情况下,您可以使用同步代理的私有 IP 地址从 VPC 中的该实例激活代理。

  5. 创建代理向导中,对于代理地址,输入 Amazon EC2 实例的 IP 地址(私有或公有,如步骤 3 所述),然后选择获取密钥

    您的浏览器连接到此 IP 地址,以便从代理中获取唯一的激活密钥。此密钥可安全地将您的代理与您的代理关联Amazon Web Services 账户。不需要能够从您的网络外部访问该 IP 地址,但必须能够从浏览器中访问该 IP 地址。

  6. 选择一个便于以后识别的代理名称。您可以选择性地添加标签。完成后,选择 Create agent (创建代理)

  7. 选择Amazon本地,然后选择下一步

  8. 选择 Create new location (创建新位置)

    • 对于位置类型,选择 Amazon S3 存储桶。

    • 对于 Amazon S3 存储桶,选择您的源 Amazon S3 存储桶。

    • 对于 Folder (文件夹),选择用于传输的文件夹前缀,或将其留为空白。

      DataSync 可以生成 IAM 角色来访问您的存储桶,也可以自己创建。

  9. 选择 Next(下一步)。选择创建新位置,为位置类型选择 NFS 或 SMB,然后从列表中选择刚刚创建的代理。

    1. 如果要复制到 EFS,请执行以下操作:

      • 对于 NFS Server (NFS 服务器),输入源 EFS 的 DNS name (DNS 名称)

      • 对于装载路径,输入/(正斜杠)并选择下一步

    2. 如果要复制到云端 NFS,请执行以下操作:

      • 对于 NFS Server (NFS 服务器),输入源 NFS 的私有 DNS 或 IP 地址。

      • 对于 Mount path (挂载路径),输入您的 NFS 服务器导出的路径。有关更多信息,请参阅创建 NFS 位置

  10. 选择 Next (下一步),然后(可选)给任务命名并添加标签。

  11. 在页面底部选择或创建 CloudWatch 日志日志组,然后选择下一步。有关使用 CloudWatch 日志的更多信息,请参阅允许 DataSync 将日志上传到亚马逊 CloudWatch 日志组

  12. 检查下一页上的设置,然后选择 Create task (创建任务)

  13. 选择 “开始” 运行您刚才创建的用于传输数据的任务,然后在 “开始任务” 页面上再次选择 “开始”。