使用备份 Amazon EFS 文件系统 Amazon Data Pipeline

• Amazon Backup 服务

• EFS 到 EFS 备份解决方案

• 基于您定义的计划 (例如，每小时、每天、每周或每月) 的自动化 EFS 备份。

• 自动轮换备份，在此情况下，会基于您希望保留的备份数将最旧的备份替换为最新的备份。

• 使用 rsync 进行更快的备份，它仅备份在两次备份之间进行的更改。

• 使用硬链接高效存储备份。硬链接是一个目录项，该目录项会将一个名称与文件系统中的一个文件相关联。通过设置硬链接，您可以通过任何备份执行完整数据还原，同时仅存储在两次备份之间进行的更改。

• 这种 EFS 备份方法涉及多种Amazon资源。对于此解决方案，您需要创建以下内容：

  • 一个生产文件系统以及一个包含生产文件系统的完整副本的备份文件系统。该系统还包含在备份轮换期间对数据进行的任何增量更改。

  • 执行恢复和定时备份的 Amazon EC2 实例Amazon Data Pipeline，其生命周期由管理。

  • 用于备份数据的一个定期计划的 Amazon Data Pipeline。

  • 用于还原备份的 Amazon Data Pipeline。

  实施此解决方案后，将会在您的账户中对这些服务计费。有关更多信息，请参阅 Amazon EFS、Amaz on EC2 和的定价页面Amazon Data Pipeline。

• 该解决方案不是脱机备份解决方案。为确保进行完全一致且完整的备份，请在备份发生时暂停到文件系统的任何文件写入或卸载文件系统。我们建议您在计划的停机时间或下班时间执行所有备份。

本演练提供了多个假设，并声明了如下示例值：

• 在您开始操作之前，本演练假定您已完成开始使用。

• 完成入门练习后，您有两个安全组、一个 VPC 子网和您要备份的文件系统的文件系统挂载目标。在本演练的其余部分中，您将使用以下示例值：

  • 您在本演练中备份的文件系统的 ID 是 fs-12345678。

  • 与挂载目标关联的文件系统的安全组称为 efs-mt-sg (sg-1111111a)。

  • 授予 Amazon EC2 实例连接到生产 EFS 挂载点的能力的安全组被称为efs-ec2-sg (sg-1111111b)。

  • VPC 子网的 ID 值为 subnet-abcd1234。

  • 您要备份的文件系统的源文件系统挂载目标 IP 地址为 10.0.1.32:/。

  • 该示例假定生产文件系统是一个内容管理系统，该系统提供平均大小为 30 MB 的媒体文件。

• 2-node-e BackupPipeline fs .json — 此模板启动两个并行的 Amazon EC2 实例来备份您的生产 Amazon EFS 文件系统。

• 2-node-e RestorePipeline fs .json — 此模板启动两个并行的 Amazon EC2 实例，用于恢复生产 Amazon EFS 文件系统的备份。

• 为要创建的每个其他节点创建一个额外的 EC2Resource（在该示例中，为第 4 个 EC2 实例）。

  {
  "id": "EC2Resource4",
  "terminateAfter": "70 Minutes",
  "instanceType": "#{myInstanceType}",
  "name": "EC2Resource4",
  "type": "Ec2Resource",
  "securityGroupIds" : [ "#{mySrcSecGroupID}","#{myBackupSecGroupID}" ],
  "subnetId": "#{mySubnetID}",
  "associatePublicIpAddress": "true"
  },

• 针对每个其他节点创建额外的数据管道活动 (在这种情况下为活动 BackupPart4)，确保配置以下部分：

  • 更新 runsOn 引用以指向以前创建的 EC2Resource (在以下示例中为 EC2Resource4)。

  • 增加最后两个 scriptArgument 值以等于每个节点负责的备份部分以及总节点数。对于以下示例中的 "2" 和 "3"，第 4 个节点的备份部分为 "3"，因为该示例中的模块逻辑需要从 0 开始计数。

  {
  "id": "BackupPart4",
  "name": "BackupPart4",
  "runsOn": {
  "ref": "EC2Resource4"
  },
  "command": "wget https://raw.githubusercontent.com/awslabs/data-pipeline-samples/master/samples/EFSBackup/efs-backup-rsync.sh\nchmod a+x efs-backup-rsync.sh\n./efs-backup-rsync.sh $1 $2 $3 $4 $5 $6 $7",
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myRetainedBackups}","#{myEfsID}", "3", "4"],
  "type": "ShellCommandActivity",
  "dependsOn": {
  "ref": "InitBackup"
  },
  "stage": "true"
  },
  

• 将全部现有 scriptArgument 值中的最后一个值增加为节点数 (在该示例中为 "4")。

  {
  "id": "BackupPart1",
  ...
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myRetainedBackups}","#{myEfsID}", "1", "4"],
  ...
  },
  {
  "id": "BackupPart2",
  ...
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myRetainedBackups}","#{myEfsID}", "2", "4"],
  ...
  },
  {
  "id": "BackupPart3",
  ...
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myRetainedBackups}","#{myEfsID}", "0", "4"],
  ...
  },

• 更新 FinalizeBackup 活动并将新的备份活动添加到 dependsOn 列表中 (在此情况下为 BackupPart4)。

  { 
  "id": "FinalizeBackup", "name": "FinalizeBackup", "runsOn": { "ref":
  "EC2Resource1" }, "command": "wget
  https://raw.githubusercontent.com/awslabs/data-pipeline-samples/master/samples/EFSBackup/efs-backup-end.sh\nchmod a+x
  efs-backup-end.sh\n./efs-backup-end.sh $1 $2", "scriptArgument": ["#{myInterval}",
  "#{myEfsID}"], "type": "ShellCommandActivity", "dependsOn": [ { "ref": "BackupPart1" },
  { "ref": "BackupPart2" }, { "ref": "BackupPart3" }, { "ref": "BackupPart4" } ], "stage":
  "true"

• 为要创建的每个其他节点创建一个额外的 EC2Resource（此处为名为 EC2Resource3 的第 3 个 EC2 实例）。

  {
  "id": "EC2Resource3",
  "terminateAfter": "70 Minutes",
  "instanceType": "#{myInstanceType}",
  "name": "EC2Resource3",
  "type": "Ec2Resource",
  "securityGroupIds" : [ "#{mySrcSecGroupID}","#{myBackupSecGroupID}" ],
  "subnetId": "#{mySubnetID}",
  "associatePublicIpAddress": "true"
  },
  

• 针对每个额外节点创建额外的数据管道活动（在这种情况下为活动 RestorePart3）。确保配置以下部分：

  • 更新 runsOn 引用以指向以前创建的 EC2Resource（在该示例中为 EC2Resource3）。

  • 增加最后两个 scriptArgument 值以等于每个节点负责的备份部分以及总节点数。对于以下示例中的 "2" 和 "3"，第 4 个节点的备份部分为 "3"，因为该示例中的模块逻辑需要从 0 开始计数。

  {
  "id": "RestorePart3",
  "name": "RestorePart3",
  "runsOn": {
  "ref": "EC2Resource3"
  },
  "command": "wget https://raw.githubusercontent.com/awslabs/data-pipeline-samples/master/samples/EFSBackup/efs-restore-rsync.sh\nchmod a+x efs-restore-rsync.sh\n./efs-backup-rsync.sh $1 $2 $3 $4 $5 $6 $7",
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myBackup}","#{myEfsID}", "2", "3"],
  "type": "ShellCommandActivity",
  "dependsOn": {
  "ref": "InitBackup"
  },
  "stage": "true"
  },
  

• 将全部现有 scriptArgument 值中的最后一个值增加为节点数 (在该示例中为 "3")。

  {
  "id": "RestorePart1",
  ...
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myBackup}","#{myEfsID}", "1", "3"],
  ...
  },
  {
  "id": "RestorePart2",
  ...
  "scriptArgument": ["#{myEfsSource}","#{myEfsBackup}", "#{myInterval}", "#{myBackup}","#{myEfsID}", "0", "3"],
  ...
  },