使用数据存储库任务

您可以使用创建、复制、查看详细信息和取消数据存储库任务 Amazon FSx 控制台、CLI或API。

注意

我们建议您下载最新的AWSCLI,以便可以访问所有必需的功能。有关更多信息,请参阅安装 AWS CLI(国际商业网) 在 AWS 命令行界面用户指南. 寻找升级一节。

创建数据存储库任务

您可以使用 Amazon FSx 控制台、CLI或API。创建任务后,您可以使用控制台、CLI或API查看任务的进度和状态。

Open the Amazon FSx console at https://console.amazonaws.cn/fsx/.
在导航窗格中,选择 文件系统,然后选择您要为创建任务的Lustre文件系统。
对于操作,选择 导出到数据存储库. 如果文件系统未链接到 data repository on S3. 的 创建数据存储库任务 页面将显示。

数据存储库任务类型 设定为 导出到存储库,这是当前支持的唯一任务类型。的 导出目的地 value是您在创建文件系统时定义的导出前缀。
(可选)指定最多32个要从您的 Amazon FSx 文件系统,通过提供这些目录或文件的路径 文件系统导出路径. 您提供的路径需要相对于文件系统的挂载点。如果安装点是 /mnt/fsx 和 /mnt/fsx/path1 是您要导出的文件系统上的目录或文件,则要提供的路径为 path1.

注意

如果您提供的路径无效,则任务将失败。
(可选)选择启用低于 结题报告 在任务完成后生成任务完成报告。甲 任务完成报告 提供有关任务处理的文件的详细信息,这些文件符合 报告范围. 要指定的位置 Amazon FSx 要传递报告,请在文件系统的S3数据存储库链接 报告路径.
选择 创建数据存储库任务.

位于 文件系统 页面显示您刚刚创建的进行中的任务。

要查看任务状态和详细信息,请选择 数据存储库任务(Lustre) 导航窗格上。默认排序顺序在列表顶部显示最近的任务。

要从此页面查看任务摘要,请选择 任务ID 任务。的总结页面。

以下过程创建导出到存储库任务。 Amazon FSx 在任务完成之后生成任务完成报告。如果您不想生成报告,请设置 --report Enabled 至 false。有关任务完成报告的更多信息,请参阅使用任务完成报告.

要创建数据存储库任务,请使用 create-data-repository-task CLI命令。相应的API操作为 CreateDataRepositoryTask.


$ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true,Scope=FAILED_FILES_ONLY,Format=REPORT_CSV_20191124,Path=s3://dataset-01/reports

成功创建数据存储库任务后, Amazon FSx 返回任务描述为JSON,如以下示例所示。


{
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.240",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

之后 Amazon FSx 开始处理任务,任务的状态信息将可用。要使用CLI查看任务详细信息和状态,请参阅检索数据存储库任务和任务详细信息(CLI).

复制任务

您可以在 Amazon FSx 控制台。当您复制任务时,现有任务的准确副本将显示在 创建数据存储库任务 第页。在创建和运行新任务之前,您可以根据需要更改要导出的路径。

您可以从任务详细信息视图或从 数据存储库任务 第页。

要复制现有任务

您可以从任务详细信息页面或数据存储库任务页面复制任务。

在上选择一个任务 数据存储库任务(Lustre) 第页。
选择 重复任务. 的 创建数据存储库任务 页面将显示。新任务的所有设置都与复制的任务相同。
更改或添加要导出到的路径。您提供的路径需要相对于文件系统的挂载点。如果安装点是 /mnt/fsx 和 /mnt/fsx/path1 是您要导出的文件系统上的目录或文件,则要提供的路径为 path1.
选择 创建数据存储库任务 以创建任务。

访问数据存储库任务

在创建数据存储库任务后,您可以使用访问该任务以及帐户中的所有现有任务 Amazon FSx 控制台、CLI和API。 Amazon FSx 提供以下详细的任务信息:

所有现有任务。
特定文件系统的所有任务。
具有特定生命周期状态的所有任务。有关任务生命周期状态值的更多信息,请参阅了解任务的状态和详细信息.

您可以使用 Amazon FSx 控制台、CLI或API,如下所述。

Open the Amazon FSx console at https://console.amazonaws.cn/fsx/.
在导航窗格中,选择 数据存储库任务(Lustre). 的 数据存储库任务 页面,显示现有任务。
要查看任务的详细信息,请选择 任务ID 或 任务名称 在 数据存储库任务 第页。此时将出现任务详细信息页面。

使用 Amazon FSx describe-data-repository-tasks CLI命令,您可以查看帐户中的所有数据存储库任务及其详细信息。DescribeDataRepositoryTasks 是等效API命令。

使用以下命令可查看帐户中的所有数据存储库任务对象。


aws fsx describe-data-repository-tasks

如果命令成功, Amazon FSx 以JSON格式返回响应。


{
    "DataRepositoryTasks": [
        {
            "Lifecycle": "EXECUTING",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-01/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1591863862.288,
            "EndTime": ,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef3",
            "Status": {
                "SucceededCount": 4255,
                "TotalCount": 4200,
                "FailedCount": 55,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789a7",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
        },
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-04299453935122318",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

按文件系统查看任务

您可以使用 Amazon FSx 控制台、CLI或API,如下所述。

选择 文件系统 导航窗格上。的 文件系统 页面将显示。
选择要查看的数据存储库任务的文件系统。此时将出现文件系统详细信息页面。
在文件系统详细信息页面,选择 数据存储库 选项卡。此文件系统的所有任务都显示在 数据存储库任务 面板。

使用以下命令查看文件系统的所有数据存储库任务 fs-0123456789abcdef0.


aws fsx describe-data-repository-tasks \
    --filters Name=file-system-id,Values=fs-0123456789abcdef0

如果命令成功, Amazon FSx 以JSON格式返回响应。


{
    "DataRepositoryTasks": [
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef0",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

取消数据存储库任务

您可以取消处于PENDING或EXECUING状态时的数据存储库任务。当您取消任务时,将出现以下情况:

Amazon FSx 不会处理队列中要处理的任何文件。
Amazon FSx 继续处理当前正在处理的任何文件。
Amazon FSx 不会还原任务已处理的任何文件。

Open the Amazon FSx console at https://console.amazonaws.cn/fsx/.
在导航窗格中,选择 数据存储库任务(Lustre). 的 数据存储库任务 页面,显示现有任务。
选择 任务ID 或 任务名称 ,用于要取消的任务。
选择 取消任务 取消任务。
输入任务ID以确认取消请求。

使用 Amazon FSx cancel-data-repository-task CLI命令,取消任务。 CancelDataRepositoryTask 是等效API命令。

使用以下命令可查看帐户中的所有数据存储库任务对象。


aws fsx cancel-data-repository-task \
    --task-id fs-0123456789abcdef0

如果命令成功, Amazon FSx 以JSON格式返回响应。


{
    "Status": "CANCELING",
    "TaskId": "task-0123456789abcdef0"
}

Javascript 在您的浏览器中被禁用或不可用。

要使用 AWS 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

任务状态和详细信息

使用任务完成报告