使用数据存储库任务

您可以使用 Amazon FSX 控制台、CLI 或 API 创建、复制、查看详细信息和取消数据存储库任务。

注意

建议您下载最新的Amazon CLI，以便您拥有所有必需的功能。有关更多信息，请参阅。安装AmazonCLI中的Amazon命令行界面用户指南. 查找升级部分，适用于操作系统。

创建数据存储库任务

您可以使用 Amazon FSX 控制台、CLI 或 API 创建数据存储库任务。创建任务后，您可以使用控制台、CLI 或 API 查看任务的进度和状态。

打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.
在导航窗格上，选择文件系统，然后选择要为其创建任务的 Lustre 文件系统。
适用于操作中，选择导出到数据存储库. 如果文件系统未链接到 S3 上的数据存储库，则此选项不可用。这些区域有：创建数据存储库任务页面显示。

数据存储库任务类型设置为导出到存储库，这是当前唯一支持的任务类型。这些区域有：导出目标值是您在创建文件系统时定义的导出前缀。
（可选）指定最多 32 个要从 Amazon FSX 文件系统导出的目录或文件，方法是在文件系统导出路径. 您提供的路径需要相对于文件系统的挂载点。如果装载点为/mnt/fsx和/mnt/fsx/path1是要导出的文件系统上的目录或文件，则要提供的路径为path1.

注意

如果您提供的路径无效，则任务将失败。
（可选）选择启用UNCELLED完成报告以在任务完成后生成任务完成报告。A任务完成报告提供了有关任务处理的文件的详细信息，这些文件符合报告范围. 要指定 Amazon FSX 传递报告的位置，请在文件系统的链接 S3 数据存储库上输入相对路径，以报告路径.
选择创建数据存储库任务.

在 Files Values (图像夹层顶部的通知文件系统页面显示刚刚创建的任务。

要查看任务状态和详细信息，请选择数据存储库任务（Lustre）导航窗格上。默认排序顺序显示列表顶部的最新任务。

要从此页面查看任务摘要，请选择任务编号）。这些区域有：摘要页面上显示任务。

以下过程创建导出到存储库任务。Amazon FSX 会在任务完成后生成任务完成报告。如果不希望生成报表，请设置--report Enabled到false. 有关任务完成报告的更多信息，请参阅使用任务完成报告.

要创建数据存储库任务，请使用create-data-repository-taskCLI 命令。相应的 API 操作是 CreateDataRepositoryTask.


$ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true,Scope=FAILED_FILES_ONLY,Format=REPORT_CSV_20191124,Path=s3://dataset-01/reports

在成功创建数据存储库任务后，Amazon FSX 以 JSON 形式返回任务描述，如以下示例所示。


{
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.240",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Amazon FSX 开始处理任务后，任务的状态信息将变为可用。要使用 CLI 查看任务详细信息和状态，请参阅检索数据存储库任务和任务详细信息 (CLI).

复制任务

您可以在 Amazon FSX 控制台中复制现有数据存储库任务。复制任务时，现有任务的精确副本将显示在创建数据存储库任务页. 在创建和运行新任务之前，您可以根据需要更改要导出的路径。

您可以从任务详细信息视图或数据存储库页.

复制现有任务

您可以从任务详细信息页面或数据存储库任务页面复制任务。

选择一个任务数据存储库任务（Lustre）页.
选择复制任务. 这些区域有：创建数据存储库任务页面显示。新任务的所有设置都与要复制的任务的设置相同。
更改或添加要导出到的路径。您提供的路径需要相对于文件系统的挂载点。如果装载点为/mnt/fsx和/mnt/fsx/path1是要导出的文件系统上的目录或文件，则要提供的路径为path1.
选择创建数据存储库任务创建任务。

访问数据存储库任务

创建数据存储库任务后，您可以使用 Amazon FSX 控制台、CLI 和 API 访问该任务以及账户中的所有现有任务。亚马逊 FSX 提供以下详细的任务信息：

所有现有任务
特定文件系统的所有任务。
具有特定生命周期状态的所有任务。有关任务生命周期状态值的更多信息，请参阅了解任务的状态和详细信息.

您可以使用 Amazon FSX 控制台、CLI 或 API 访问账户中的所有现有数据存储库任务，如下所述。

从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.
在导航窗格上，选择数据存储库任务（Lustre）. 这些区域有：数据存储库页面，其中显示现有任务。
要查看任务的详细信息，请选择任务编号或者任务名称中的数据存储库页. 此时会显示任务详细信息页面。

使用 Amazon FSxdescribe-data-repository-tasksCLI 命令，您可以查看账户中的所有数据存储库任务及其详细信息。DescribeDataRepositoryTasks是等效的 API 命令。

可使用以下命令查看账户中的所有数据存储库任务对象。


aws fsx describe-data-repository-tasks

如果命令成功，Amazon FSx 将返回 JSON 格式的响应。


{
    "DataRepositoryTasks": [
        {
            "Lifecycle": "EXECUTING",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-01/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1591863862.288,
            "EndTime": ,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef3",
            "Status": {
                "SucceededCount": 4255,
                "TotalCount": 4200,
                "FailedCount": 55,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789a7",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3"
        },
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-04299453935122318",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

按文件系统查看任务

您可以使用 Amazon FSX 控制台、CLI 或 API 查看特定文件系统的所有任务，如下所述。

选择文件系统导航窗格上。这些区域有：文件系统页面显示。
选择要查看其数据存储库任务的文件系统。此时将会显示文件系统详细信息页。
在文件系统详细信息页面上，选择数据存储库选项卡。此文件系统的任何任务都会显示在数据存储库面板中。

使用以下命令查看文件系统的所有数据存储库任务fs-0123456789abcdef0.


aws fsx describe-data-repository-tasks \
    --filters Name=file-system-id,Values=fs-0123456789abcdef0

如果命令成功，Amazon FSx 将返回 JSON 格式的响应。


{
    "DataRepositoryTasks": [
        {
            "Lifecycle": "FAILED",
            "Paths": [],
            "Report": {
                "Path":"s3://dataset-04/reports",
                "Format":"REPORT_CSV_20191124",
                "Enabled":true,
                "Scope":"FAILED_FILES_ONLY"
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef1",
            "Status": {
                "SucceededCount": 1153,
                "TotalCount": 1156,
                "FailedCount": 3,
                "LastUpdatedTime": 1571863875.289
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1571863850.075,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1"
        },
        {
            "Lifecycle": "SUCCEEDED",
            "Paths": [],
            "Report": {
                "Enabled": false,
            },
            "StartTime": 1571863862.288,
            "EndTime": 1571863905.292,
            "Type": "EXPORT_TO_REPOSITORY",
            "Tags": [],
            "TaskId": "task-0123456789abcdef0",
            "Status": {
                "SucceededCount": 258,
                "TotalCount": 258,
                "FailedCount": 0,
                "LastUpdatedTime": 1771848950.012,
            },
            "FileSystemId": "fs-0123456789abcdef0",
            "CreationTime": 1771848950.012,
            "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0"
        }
    ]
}

取消数据存储库任务

您可以取消处于等待完成或执行状态的数据存储库任务。取消任务时，会发生以下情况：

Amazon FSx 不会处理队列中的任何文件。
Amazon FSX 会继续处理当前正在处理的所有文件。
Amazon FSX 不会恢复任务已处理的任何文件。

从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.
在导航窗格上，选择数据存储库任务（Lustre）. 这些区域有：数据存储库页面，其中显示现有任务。
选择任务编号或者任务名称对于要取消的任务。
选择Cancel 任务以取消任务。
输入任务 ID 以确认取消请求。

使用 Amazon FSxcancel-data-repository-taskCLI 命令，取消任务。 CancelDataRepositoryTask是等效的 API 命令。

可使用以下命令查看账户中的所有数据存储库任务对象。


aws fsx cancel-data-repository-task \
    --task-id fs-0123456789abcdef0

如果命令成功，Amazon FSx 将返回 JSON 格式的响应。


{
    "Status": "CANCELING",
    "TaskId": "task-0123456789abcdef0"
}

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

任务状态和详细信息

使用任务完成报告