使用数据存储库任务 - Amazon FSx for Lustre
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用数据存储库任务

您可以使用 Amazon FSX 控制台、CLI 或 API 创建、复制、查看详细信息和取消数据存储库任务。

注意

建议您下载最新的Amazon CLI,以便您拥有所有必需的功能。有关更多信息,请参阅 。安装AmazonCLI中的Amazon命令行界面用户指南. 查找升级部分,适用于操作系统。

创建数据存储库任务

您可以使用 Amazon FSX 控制台、CLI 或 API 创建数据存储库任务。创建任务后,您可以使用控制台、CLI 或 API 查看任务的进度和状态。

  1. 打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 在导航窗格上,选择文件系统,然后选择要为其创建任务的 Lustre 文件系统。

  3. 适用于操作中,选择导出到数据存储库. 如果文件系统未链接到 S3 上的数据存储库,则此选项不可用。这些区域有:创建数据存储库任务页面显示。

    
         “创建数据存储库” 任务页

    数据存储库任务类型设置为导出到存储库,这是当前唯一支持的任务类型。这些区域有:导出目标值是您在创建文件系统时定义的导出前缀。

  4. (可选)指定最多 32 个要从 Amazon FSX 文件系统导出的目录或文件,方法是在文件系统导出路径. 您提供的路径需要相对于文件系统的挂载点。如果装载点为/mnt/fsx/mnt/fsx/path1是要导出的文件系统上的目录或文件,则要提供的路径为path1.

    注意

    如果您提供的路径无效,则任务将失败。

  5. (可选)选择启用UNCELLED完成报告以在任务完成后生成任务完成报告。A任务完成报告提供了有关任务处理的文件的详细信息,这些文件符合报告范围. 要指定 Amazon FSX 传递报告的位置,请在文件系统的链接 S3 数据存储库上输入相对路径,以报告路径.

  6. 选择创建数据存储库任务.

    在 Files Values (图像夹层顶部的通知文件系统页面显示刚刚创建的任务。

要查看任务状态和详细信息,请选择数据存储库任务(Lustre)导航窗格上。默认排序顺序显示列表顶部的最新任务。

要从此页面查看任务摘要,请选择任务编号)。这些区域有:摘要页面上显示任务。

以下过程创建导出到存储库任务。Amazon FSX 会在任务完成后生成任务完成报告。如果不希望生成报表,请设置--report Enabledfalse. 有关任务完成报告的更多信息,请参阅使用任务完成报告.

  • 要创建数据存储库任务,请使用create-data-repository-taskCLI 命令。相应的 API 操作是 CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true,Scope=FAILED_FILES_ONLY,Format=REPORT_CSV_20191124,Path=s3://dataset-01/reports

在成功创建数据存储库任务后,Amazon FSX 以 JSON 形式返回任务描述,如以下示例所示。

{ "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.240", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" } }

Amazon FSX 开始处理任务后,任务的状态信息将变为可用。要使用 CLI 查看任务详细信息和状态,请参阅检索数据存储库任务和任务详细信息 (CLI).

复制任务

您可以在 Amazon FSX 控制台中复制现有数据存储库任务。复制任务时,现有任务的精确副本将显示在创建数据存储库任务页. 在创建和运行新任务之前,您可以根据需要更改要导出的路径。

您可以从任务详细信息视图或数据存储库页.

复制现有任务

您可以从任务详细信息页面或数据存储库任务页面复制任务。

  1. 选择一个任务数据存储库任务(Lustre)页.

  2. 选择复制任务. 这些区域有:创建数据存储库任务页面显示。新任务的所有设置都与要复制的任务的设置相同。

  3. 更改或添加要导出到的路径。您提供的路径需要相对于文件系统的挂载点。如果装载点为/mnt/fsx/mnt/fsx/path1是要导出的文件系统上的目录或文件,则要提供的路径为path1.

  4. 选择创建数据存储库任务创建任务。

访问数据存储库任务

创建数据存储库任务后,您可以使用 Amazon FSX 控制台、CLI 和 API 访问该任务以及账户中的所有现有任务。亚马逊 FSX 提供以下详细的任务信息:

  • 所有现有任务

  • 特定文件系统的所有任务。

  • 具有特定生命周期状态的所有任务。有关任务生命周期状态值的更多信息,请参阅了解任务的状态和详细信息.

您可以使用 Amazon FSX 控制台、CLI 或 API 访问账户中的所有现有数据存储库任务,如下所述。

  1. 从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 在导航窗格上,选择数据存储库任务(Lustre). 这些区域有:数据存储库页面,其中显示现有任务。

  3. 要查看任务的详细信息,请选择任务编号或者任务名称中的数据存储库页. 此时会显示任务详细信息页面。

    
         数据存储库任务页面

使用 Amazon FSxdescribe-data-repository-tasksCLI 命令,您可以查看账户中的所有数据存储库任务及其详细信息。DescribeDataRepositoryTasks是等效的 API 命令。

  • 可使用以下命令查看账户中的所有数据存储库任务对象。

    aws fsx describe-data-repository-tasks

    如果命令成功,Amazon FSx 将返回 JSON 格式的响应。

    { "DataRepositoryTasks": [ { "Lifecycle": "EXECUTING", "Paths": [], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1591863862.288, "EndTime": , "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef3", "Status": { "SucceededCount": 4255, "TotalCount": 4200, "FailedCount": 55, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789a7", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3" }, { "Lifecycle": "FAILED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-04299453935122318", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ] }

按文件系统查看任务

您可以使用 Amazon FSX 控制台、CLI 或 API 查看特定文件系统的所有任务,如下所述。

  1. 选择文件系统导航窗格上。这些区域有:文件系统页面显示。

  2. 选择要查看其数据存储库任务的文件系统。此时将会显示文件系统详细信息页。

  3. 在文件系统详细信息页面上,选择数据存储库选项卡。此文件系统的任何任务都会显示在数据存储库面板中。

    
       文件系统面板的任务
  • 使用以下命令查看文件系统的所有数据存储库任务fs-0123456789abcdef0.

    aws fsx describe-data-repository-tasks \ --filters Name=file-system-id,Values=fs-0123456789abcdef0

    如果命令成功,Amazon FSx 将返回 JSON 格式的响应。

    { "DataRepositoryTasks": [ { "Lifecycle": "FAILED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef0", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ] }

取消数据存储库任务

您可以取消处于等待完成或执行状态的数据存储库任务。取消任务时,会发生以下情况:

  • Amazon FSx 不会处理队列中的任何文件。

  • Amazon FSX 会继续处理当前正在处理的所有文件。

  • Amazon FSX 不会恢复任务已处理的任何文件。

  1. 从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 在导航窗格上,选择数据存储库任务(Lustre). 这些区域有:数据存储库页面,其中显示现有任务。

  3. 选择任务编号或者任务名称对于要取消的任务。

  4. 选择Cancel 任务以取消任务。

  5. 输入任务 ID 以确认取消请求。

使用 Amazon FSxcancel-data-repository-taskCLI 命令,取消任务。 CancelDataRepositoryTask是等效的 API 命令。

  • 可使用以下命令查看账户中的所有数据存储库任务对象。

    aws fsx cancel-data-repository-task \ --task-id fs-0123456789abcdef0

    如果命令成功,Amazon FSx 将返回 JSON 格式的响应。

    { "Status": "CANCELING", "TaskId": "task-0123456789abcdef0" }