使用数据存储库任务 - FSx for Lustre
创建数据存储库任务复制任务访问数据存储库任务取消数据存储库任务
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用数据存储库任务

您可以使用 Amazon FSx 控制台、CLI 或 API 创建、复制、查看详细信息和取消数据存储库任务。

创建数据存储库任务

您可以使用 Amazon FSx 控制台、CLI 或 API 创建数据存储库任务。创建任务后，您可以使用控制台、CLI 或 API 查看任务的进度和状态。

您可以创建两种类型的数据存储库任务：

复制任务

您可以在 Amazon FSx 控制台中复制现有的数据存储库任务。复制任务时，现有任务的精确副本将显示在创建导入数据存储库任务或创建导出数据存储库任务页面中。在创建和运行新任务之前，您可以根据需要更改要导出或导入的路径。

注意

如果重复任务的精确副本已经在运行，则运行重复任务的请求将失败。对于导出任务，已在运行的任务的精确副本包含相同的文件系统路径，对于导入任务，则包含相同的数据存储库路径。

您可以从任务详细信息视图、文件系统的 “数据存储库任务” 窗格或数据存储库任务页面复制任务。

复制现有任务

  1. 在文件系统的 “数据存储库” 选项卡的 “数据存储库任务” 窗格中选择一项任务。

  2. 选择 “复制任务”。根据您选择的任务类型，将显示创建导入数据存储库任务或创建导出数据存储库任务页面。新任务的所有设置与您正在复制的任务的设置相同。

  3. 更改或添加要从中导入或导出到的路径。

  4. 选择 Create（创建）。

访问数据存储库任务

创建数据存储库任务后，您可以使用 Amazon FSx 控制台、CLI 和 API 访问该任务以及您账户中的所有现有任务。Amazon FSx 提供以下详细的任务信息：

  • 所有现有任务。

  • 特定文件系统的所有任务。

  • 特定数据存储库关联的所有任务。

  • 具有特定生命周期状态的所有任务。有关任务生命周期状态值的更多信息，请参阅了解任务的状态和细节。

您可以使用 Amazon FSx 控制台、CLI 或 API 访问账户中的所有现有数据存储库任务，如下所述。

  1. 通过 https://console.aws.amazon.com/fsx/ 打开亚马逊 FSx 控制台。

  2. 在导航窗格上，选择数据存储库任务 (Lustre)。将出现 “数据存储库任务” 页面，显示现有任务。

  3. 要查看任务的详细信息，请在数据存储库任务页面中选择任务 ID 或任务名称。此时将显示任务详细信息页面。

    数据存储库任务页面

使用 Amazon FSx describe-data-repository-tasksCLI 命令，您可以查看账户中的所有数据存储库任务及其详细信息。 DescribeDataRepositoryTasks是等效的 API 命令。

  • 使用以下命令查看账户中的所有数据存储库任务对象。

    aws fsx describe-data-repository-tasks

    如果命令执行成功，

    {
    "DataRepositoryTasks": [
        {
            "Lifecycle": "EXECUTING",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-01/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1591863862.288,
            "EndTime": ,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef3",
            "Status": {
                "SucceededCount": 4255,
                "TotalCount": 4200,
                "FailedCount": 55,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789a7",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
        },
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-04299453935122318",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

按文件系统查看任务

您可以使用 Amazon FSx 控制台、CLI 或 API 查看特定文件系统的所有任务，如下所述。

  1. 在导航窗格中选择文件系统。将出现 “文件系统” 页面。

  2. 选择要查看其数据存储库任务的文件系统。此时将显示文件系统详细信息页面。

  3. 在文件系统详细信息页面上，选择 Datas 存储库选项卡。此文件系统的所有任务都显示在数据存储库任务面板上。

  • 使用以下命令查看文件系统的所有数据存储库任务fs-0123456789abcdef0。

    aws fsx describe-data-repository-tasks \
    --filters Name=file-system-id,Values=fs-0123456789abcdef0

    如果命令执行成功，

    {
    "DataRepositoryTasks": [
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef0",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

取消数据存储库任务

当数据存储库任务处于 “待定” 或 “正在执行” 状态时，您可以取消该任务。取消任务时，会出现以下情况：

  • Amazon FSx 不处理队列中待处理的任何文件。

  • Amazon FSx 会继续处理当前正在处理的所有文件。

  • Amazon FSx 不会还原任务已经处理的任何文件。

  1. 通过 https://console.aws.amazon.com/fsx/ 打开亚马逊 FSx 控制台。

  2. 单击要取消其数据存储库任务的文件系统。

  3. 打开 “数据存储库” 选项卡并向下滚动以查看 “数据存储库任务” 面板。

  4. 为要取消的任务选择任务 ID 或任务名称。

  5. 选择 “取消任务” 以取消该任务。

  6. 输入任务 ID 以确认取消请求。

使用 Amazon FSx cancel-data-repository-taskCLI 命令取消任务。 CancelDataRepositoryTask是等效的 API 命令。

  • 使用以下命令查看账户中的所有数据存储库任务对象。

    aws fsx cancel-data-repository-task \
    --task-id fs-0123456789abcdef0

    如果命令执行成功，

    {
    "Status": "CANCELING",
    "TaskId": "task-0123456789abcdef0"
}