使用数据存储库任务导出更改 - fsX for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用数据存储库任务导出更改

导出数据存储库任务导出文件系统中新的或已更改的文件。它在 S3 中为文件系统上的任何新文件创建一个新对象。对于在文件系统上已修改或其元数据已被修改的任何文件,S3 中的相应对象将替换为包含新数据和元数据的新对象。对已从文件系统中删除的文件不采取任何操作。

注意

使用导出数据存储库任务时,请记住以下事项:

  • 不支持使用通配符来包含或排除要导出的文件。

  • 执行mv操作时,即使没有 UID、GID、权限或内容更改,移动后的目标文件也将导出到 S3。

使用以下步骤使用 Amazon FSx 控制台和 CLI 将文件系统上的数据和元数据更改导出到链接的 S3 存储桶。请注意,您可以将一个数据存储库任务用于多个 DRA。

  1. 通过 https://console.aws.amazon.com/fsx/ 打开亚马逊 FSx 控制台。

  2. 在导航窗格上,选择文件系统,然后选择您的 Lustre 文件系统。

  3. 选择 “数据存储库” 选项卡。

  4. 数据存储库关联窗格中,选择要为其创建导出任务的数据存储库关联。

  5. 在 “操作” 中,选择 “导出任务”。如果文件系统未链接到 S3 上的数据存储库,则此选项不可用。将出现 “创建导出数据存储库” 任务对话框。

    
                  创建数据存储库任务页面
  6. (可选)通过在要导出的文件系统路径中提供目录或文件的路径,指定最多 32 个要从 Amazon FsX 文件系统导出的目录或文件。您提供的路径必须是相对于文件系统的装载点的。如果装载点/mnt/fsx/path1/mnt/fsx并且是要导出的文件系统上的目录或文件,则提供的路径是path1

    注意

    如果您提供的路径无效,任务将失败。

  7. (可选)在 “完成报告” 下选择 “启用”,在任务完成后生成任务完成报告。任务完成报告提供有关任务处理的符合报告范围的文件的详细信息。要指定 Amazon FSx 交付报告的位置,请在文件系统的链接 S3 数据存储库中为报告路径输入相对路径

  8. 选择创建

    文件系统页面顶部的通知显示您刚刚创建的任务正在进行中。

要查看任务状态和详细信息,请向下滚动到文件系统的 “数据存储库” 选项卡中的 “数据存储库任务” 窗格。默认排序顺序在列表顶部显示最近的任务。

要从此页面查看任务摘要,请为刚刚创建的任务选择任务 ID。此时将显示该任务的摘要页面。

  • 使用 create-data-repository-taskCLI 命令在 FsX for Lustre 文件系统上导出数据和元数据更改。相应的 API 操作是CreateDataRepositoryTask

    $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true

    成功创建数据存储库任务后,Amazon FSx 以 JSON 形式返回任务描述,如以下示例所示。

    { "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.120", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" } }

创建将数据导出到链接数据存储库的任务后,您可以检查导出数据存储库任务的状态。有关查看数据存储库任务的更多信息,请参阅访问数据存储库任务