使用数据存储库任务 - FSx for Lustre
创建数据存储库任务复制任务访问数据存储库任务取消数据存储库任务
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用数据存储库任务

您可以使用 Amazon FSx 控制台、CLI 或 API 创建、复制、查看详细信息和取消数据存储库任务。

创建数据存储库任务

您可以使用 Amazon FSx 控制台、CLI 或 API 创建数据存储库任务。创建任务后，可以使用控制台、CLI 或 API 查看任务的进度和状态。

可创建两种类型的数据存储库任务：

复制任务

您可以在 Amazon FSx 控制台中复制现有的数据存储库任务。复制任务时，现有任务的精确副本将显示在创建导入数据存储库任务要么创建导出数据存储库任务页. 在创建和运行新任务之前，您可以根据需要更改要导出或导入的路径。

注意

如果运行重复任务的准确副本已经运行，则运行该任务的请求将失败。在导出任务的情况下，已运行的任务的精确副本包含相同的文件系统路径，如果导入任务，则包含相同的数据存储库路径。

您可以从任务详细信息视图中复制任务，数据存储库任务中的窗格数据存储库文件系统的选项卡，或从数据存储库任务页.

复制现有任务

  1. 在数据存储库任务中的窗格数据存储库文件系统的选项卡。

  2. 选择复制任务. 根据您选择的任务类型，创建导入数据存储库任务要么创建导出数据存储库任务此时将显示页。新任务的所有设置都与您要复制的任务的设置相同。

  3. 更改或添加要从中导入或导出到的路径。

  4. 选择 Create（创建）。

访问数据存储库任务

创建数据存储库任务后，您可以使用 Amazon FSx 控制台、CLI 和 API 访问该任务以及账户中的所有现有任务。Amazon FSx 提供了以下详细的任务信息：

  • 所有现有任务。

  • 特定文件系统的所有任务。

  • 特定数据存储库关联的所有任务。

  • 所有具有特定生命周期状态的任务。有关任务生命周期状态值的更多信息，请参阅了解任务的状态和详细信息.

您可以使用 Amazon FSx 控制台、CLI 或 API 访问账户中的所有现有数据存储任务，如下所述。

  1. 在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 在导航窗格上，选择数据存储库任务（Lustre）. 这些区域有：数据存储库任务将显示页面，显示现有任务。

  3. 要查看任务的详细信息，请选择任务 ID要么任务名称中的数据存储库任务页. 此时将显示任务详细信息页。

    数据存储库任务页

使用 Amazon FSxdescribe-data-repository-tasksCLI 命令，您可以在账户中查看所有数据存储库任务及其详细信息。DescribeDataRepositoryTasks是等效的 API 命令。

  • 使用以下命令查看账户中的所有数据存储库任务对象。

    aws fsx describe-data-repository-tasks

    如果命令成功，则 Amazon FSx 将以 JSON 格式返回响应。

    {
    "DataRepositoryTasks": [
        {
            "Lifecycle": "EXECUTING",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-01/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1591863862.288,
            "EndTime": ,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef3",
            "Status": {
                "SucceededCount": 4255,
                "TotalCount": 4200,
                "FailedCount": 55,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789a7",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
        },
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-04299453935122318",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

按文件系统查看任务

您可以使用 Amazon FSx 控制台、CLI 或 API 查看特定文件系统的所有任务，如下所述。

  1. 选择文件系统在导航窗格中。这些区域有：文件系统此时将显示页。

  2. 选择要查看其数据存储库任务的文件系统。将显示文件系统详细信息页面。

  3. 在文件系统详细信息页面上，选择数据存储库选项卡。此文件系统的任何任务都显示在数据存储库任务面板。

  • 使用以下命令查看文件系统的所有数据存储库任务：fs-0123456789abcdef0.

    aws fsx describe-data-repository-tasks \
    --filters Name=file-system-id,Values=fs-0123456789abcdef0

    如果命令成功，则 Amazon FSx 将以 JSON 格式返回响应。

    {
    "DataRepositoryTasks": [
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef0",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

取消数据存储库任务

您可以在处于 PENDING（等待完成）或执行状态的数据存储库任务时取消。取消任务时，会出现以下情况：

  • Amazon FSx 不会处理队列中要处理的任何文件。

  • Amazon FSx 将继续处理当前正在处理的所有文件。

  • Amazon FSx 不会恢复任务已处理的任何文件。

  1. 在打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.

  2. 单击要取消其数据存储库任务的文件系统。

  3. 打开数据存储库选项卡并向下滚动以查看数据存储库任务面板。

  4. 选择任务 ID要么任务名称对于要取消的任务。

  5. 选择取消任务以取消任务。

  6. 输入任务 ID 以确认取消请求。

使用 Amazon FSxcancel-data-repository-taskCLI 命令，用于取消任务。CancelDataRepositoryTask是等效的 API 命令。

  • 使用以下命令查看账户中的所有数据存储库任务对象。

    aws fsx cancel-data-repository-task \
    --task-id fs-0123456789abcdef0

    如果命令成功，则 Amazon FSx 将以 JSON 格式返回响应。

    {
    "Status": "CANCELING",
    "TaskId": "task-0123456789abcdef0"
}