使用数据存储库任务导出更改 - FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用数据存储库任务导出更改

导出数据存储库任务会导出文件系统中的新文件或已更改的文件。它会在 S3 中为文件系统上的任何新文件创建新对象。对于文件系统上已修改的文件或其元数据已修改的文件,S3 中的相应对象将替换为包含新数据和元数据的新对象。不对已从文件系统中删除的文件采取任何操作。

注意

在使用导出数据存储库任务时,请记住以下几点:

  • 不支持使用通配符来包含或排除要导出的文件。

  • 在执行 mv 操作时,即使没有 UID、GID、权限或内容更改,移动后的目标文件也将导出到 S3。

按照以下步骤,通过 Amazon FSx 控制台和 CLI,将文件系统上的数据和元数据更改导出到链接的 S3 桶。请注意,您可以将一个数据存储库任务用于多个 DRA。

  1. 通过以下网址打开 Amazon FSx 控制台:https://console.aws.amazon.com/fsx/

  2. 在导航窗格上,选择文件系统,然后选择您的 Lustre 文件系统。

  3. 选择数据存储库选项卡。

  4. 数据存储库关联窗格中,选择您要为其创建导出任务的数据存储库关联。

  5. 对于操作,选择导出。如果文件系统未链接到 S3 上的数据存储库,则此选项不可用。创建导出数据存储库任务对话框会显示。

    
                  “创建数据存储库任务”页面
  6. (可选)通过在要导出的文件系统路径中提供目录或文件的路径,最多指定从 Amazon FSx 文件系统导出 32 个目录或文件。您提供的路径必须与文件系统的挂载点相关。如果挂载点是 /mnt/fsx/mnt/fsx/path1 是您要导出的文件系统上的目录或文件,则要提供的路径是 path1

    注意

    如果您提供的路径无效,则任务失败。

  7. (可选)在完成报告下选择启用,以便在任务完成后生成任务完成报告。任务完成报告提供有关任务处理的、符合报告范围中范围的文件的详细信息。要指定 Amazon FSx 提交报告的位置,请在报告路径中输入文件系统链接的 S3 数据存储库上的相对路径。

  8. 选择创建

    文件系统页面顶部的通知会显示您刚刚创建的任务正在进行中。

要查看任务状态和详细信息,请在文件系统的数据存储库选项卡中向下滚动到数据存储库任务窗格。默认排序顺序在列表前面显示最近的任务。

要从此页面查看任务摘要,请选择您刚刚创建的任务的任务 ID。任务的摘要页面会显示。

  • 使用 create-data-repository-task CLI 命令导出 FSx for Lustre 文件系统上的数据和元数据更改。相应的 API 操作是 CreateDataRepositoryTask

    $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true

    成功创建数据存储库任务后,Amazon FSx 以 JSON 格式返回任务描述,如以下示例所示。

    { "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.120", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" } }

创建旨在将数据导出到链接的数据存储库的任务后,您可以检查导出数据存储库任务的状态。有关如何查看数据存储库任务的更多信息,请参阅访问数据存储库任务