使用较旧的部署类型

本节适用于使用 Scratch 1、Scratch 2 和持久性 1 部署类型创建的文件系统。

主题

将文件系统链接到 Amazon S3 存储桶
自动从 S3 存储桶导入更新

将文件系统链接到 Amazon S3 存储桶

当您为 Lustre 文件系统创建 Amazon FSx 时，您可以将其链接到 Amazon S3 中的持久数据存储库。在创建文件系统之前，请确保您已经创建了要链接到的 Amazon S3 存储桶。在创建文件系统向导中，您可以在可选的数据储库Import/Export /导出窗格。

选择 Amazon FSx 如何在创建文件系统后在 S3 存储桶中添加或修改对象时使您的文件和目录列表保持最新状态。有关更多信息，请参阅自动从 S3 存储桶导入更新。
导入存储桶：输入要用于链接存储库的 S3 存储桶的名称。
导入前缀：如果您只想将 S3 存储桶中数据的某些文件和目录列表导入到文件系统中，请输入可选的导入前缀。导入前缀定义 S3 存储桶中要从哪里导入数据。
导出前缀：定义 Amazon FSx 将文件系统内容导出到链接 S3 存储桶的位置。

您可以使用一对一映射，其中 Amazon FSx 将用于 Lustre 文件系统的 FSx 中的数据导出回 S3 存储桶上的同一目录。要使用 1:1 映射，请在创建文件系统时指定不带任何前缀的 S3 存储桶的导出路径。

使用控制台创建文件系统时，选择导出前缀 > 指定的前缀选项，然后将前缀字段保留为空。
当您使用创建文件系统时AmazonCLI 或 API，指定导出路径作为 S3 存储桶的名称，而不带任何其他前缀，例如，ExportPath=s3://lustre-export-test-bucket/.

使用此方法，您可以在指定导入路径时包含导入前缀，并且不会影响导出的 1:1 映射。

创建链接到 S3 存储桶的文件系统

以下过程为您演示创建链接到 S3 存储桶的 Amazon FSx 文件系统的过程。Amazon和管理控制台Amazon命令行界面 (AmazonCLI)。

Console

从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.
从控制面板中，选择创建文件系统.
对于文件系统类型，请选择FSx for Lustre，然后选择下一步.
提供所需的信息文件系统详情和网络和安全性部分。有关更多信息，请参阅步骤 1：创建您的 Amazon FSx for Lustre 文件系统。
使用数据储库导入/导出/导出面板，以在 Amazon S3 中配置链接的数据存储库。Select从 S3 中导入数据并将数据导出到 S3要扩展数据储库Import/Export /导出部分并配置数据存储库设置。
选择 Amazon FSx 如何在 S3 存储桶中添加或修改对象时使您的文件和目录列表保持最新状态。创建文件系统时，现有 S3 对象将显示为文件和目录列表。
- 将对象添加到我的 S3 存储桶时更新我的文件和目录列表：（默认）Amazon FSx 会自动更新添加到链接 S3 存储桶中但当前不存在于 FSx 文件系统中的任何新对象的文件和目录列表。Amazon FSx 不会更新 S3 存储桶中已更改的对象的列表。Amazon FSx 不会删除 S3 存储桶中删除的对象的列表。
  
  注意
  使用 CLI 和 API 从链接 S3 存储桶导入数据的默认导入首选项设置为NONE. 使用控制台时的默认导入首选项设置是在将新对象添加到 S3 存储桶时更新 Lustre。
- 在我的 S3 存储桶中添加或更改对象时更新我的文件和目录列表：Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象的文件和目录列表，以及在 S3 存储桶中更改的任何现有对象。Amazon FSx 不会删除 S3 存储桶中删除的对象的列表。
- 当对象被添加到 S3 存储桶中、更改或从我的 S3 存储桶中删除时，更新我的文件和目录列表：Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象的文件和目录列表，在 S3 存储桶中更改的任何现有对象，以及在 S3 存储桶中删除的任何现有对象。
- 不要更新我的文件并直接列出对象添加到 S3 存储桶中、更改或从 S3 存储桶中删除的时间-Amazon FSx 仅在创建文件系统时更新链接的 S3 存储桶中的文件和目录列表。选择此选项后，FSx 不会更新任何新对象、更改或删除对象的文件和目录列表。
输入可选的导入前缀如果您只想将 S3 存储桶中数据的某些文件和目录列表导入到文件系统中。导入前缀定义 S3 存储桶中要从哪里导入数据。有关更多信息，请参阅自动从 S3 存储桶导入更新。
选择一个可用的导出前缀选项
- Amazon FSx 在您的存储桶中创建的唯一前缀：选择此选项可使用 FSx for Lustre 生成的前缀导出新的和更改的对象。前缀如下所示：/FSxLustrefile-system-creation- timestamp. 例如，时间戳采用 UTC 格式，例如。FSxLustre20181105T222312Z.
- 与导入的前缀相同（用更新的对象替换现有对象）：选择此选项可以用更新的对象替换现有对象。
- 你指定的前缀：选择此选项可保留导入的数据，并使用指定的前缀导出新的和更改的对象。要在将数据导出到 S3 存储桶时实现 1:1 映射，请选择此选项并将前缀字段留空。FSx 会将数据导出到与其导入的相同目录中。
（可选）设置维护首选项，或者使用系统默认设置。
选择下一步，然后检查文件系统设置。如果需要，请进行任何更改。
选择 Create file system。

Amazon CLI

以下示例创建链接到lustre-export-test-bucket，其中的导入首选项可在创建文件系统后导入链接数据存储库中的任何新文件、更改和删除的文件。

注意

使用 CLI 和 API 从链接 S3 存储桶导入数据的默认导入首选项设置为NONE，这与使用控制台时的默认行为不同。

要为 Lustre 文件系统创建 FSx，请使用 Amazon FSx CLI 命令create-file-system，如下所示。相应的 API 操作是CreateFileSystem.


$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.12 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=PERSISTENT_1,ImportPath=s
3://lustre-export-test-bucket/,ExportPath=s3://lustre-export-test-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2

在您成功创建文件系统后，Amazon FSx 会以 JSON 形式返回文件系统描述，如以下示例所示。


{
    "FileSystems": [
        {
            "OwnerId": "owner-id-string",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 2400,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED_DELETED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://lustre-export-test-bucket/",
                    "ExportPath": "s3://lustre-export-test-bucket/export",
                    "ImportedFileChunkSize": 1024
                },
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

查看文件系统的导出路径

您可以使用 FSx for Lustre 控制台查看文件系统的导出路径，AmazonCLI 和 API。

数据存储库周期状态

数据存储库生命周期状态提供有关文件系统链接数据存储库的状态信息。数据存储库可以具有以下生命周期状态。

创建：Amazon FSx 正在创建文件系统和链接数据存储库之间的数据存储库配置。数据存储库不可用。
Available：数据存储库可供使用。
正在更新：数据存储库配置正在进行客户启动的更新，这可能会影响其可用性。
配置错误：在数据存储库配置得到更正之前，Amazon FSx 无法从 S3 存储桶自动导入更新。有关更多信息，请参阅对配置错误的链接 S3 存储桶进行故障排除。

您可以使用 Amazon FSx 控制台查看文件系统的链接数据存储库生命周期状态，Amazon命令行界面和亚马逊 FSx API。在 Amazon FSx 控制台中，您可以访问数据存储库生命期状态中的数据存储库集成的窗格数据存储库选项卡中的文件系统。这些区域有：Lifecycle物业位于DataRepositoryConfiguration响应中的对象describe-file-systemsCLI 命令（等效的 API 操作是DescribeFileSystems)。

自动从 S3 存储桶导入更新

默认情况下，当您创建新文件系统时，Amazon FSx 会在创建文件系统时导入链接 S3 存储桶中对象的文件元数据（名称、所有权、时间戳和权限）。您可以为 Lustre 文件系统配置 FSx，以便在创建文件系统后自动导入添加到 S3 存储桶中、更改或从 S3 存储桶中删除的对象的元数据。FSx for Lustre 会在创建后更新已更改对象的文件和目录列表，其方式与在创建文件系统时导入文件元数据的方式相同。当 Amazon FSx 更新已更改对象的文件和目录列表时，如果 S3 存储桶中更改的对象不再包含其元数据，则 Amazon FSx 将维护文件的当前元数据值，而不是使用默认权限。

注意

对于 2020 年 7 月 23 日美国东部时间下午 3:00 之后创建的 Lustre 文件系统，可在 FSx 上使用导入设置。

您可以在创建新文件系统时设置导入首选项，也可以使用 FSx 管理控制台（AmazonCLI 和AmazonAPI。创建文件系统时，现有 S3 对象将显示为文件和目录列表。创建文件系统后，如何在 S3 存储桶内容的更新时对其进行更新？文件系统可能具有以下其中一种导入首选项：

注意

FSx for Lustre 文件系统及其链接的 S3 存储桶必须位于同一文件系统中Amazon区域以自动导入更新。

将对象添加到我的 S3 存储桶时更新我的文件和目录列表：（默认）Amazon FSx 会自动更新添加到链接 S3 存储桶中但当前不存在于 FSx 文件系统中的任何新对象的文件和目录列表。Amazon FSx 不会更新 S3 存储桶中已更改的对象的列表。Amazon FSx 不会删除 S3 存储桶中删除的对象的列表。

注意
使用 CLI 和 API 从链接 S3 存储桶导入数据的默认导入首选项设置为NONE. 使用控制台时的默认导入首选项设置是在将新对象添加到 S3 存储桶时更新 Lustre。
在我的 S3 存储桶中添加或更改对象时更新我的文件和目录列表：Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象的文件和目录列表，以及在 S3 存储桶中更改的任何现有对象。Amazon FSx 不会删除 S3 存储桶中删除的对象的列表。
当对象被添加到 S3 存储桶中、更改或从我的 S3 存储桶中删除时，更新我的文件和目录列表：Amazon FSx 会自动更新添加到 S3 存储桶的任何新对象的文件和目录列表，在 S3 存储桶中更改的任何现有对象，以及在 S3 存储桶中删除的任何现有对象。
不要更新我的文件并直接列出对象添加到 S3 存储桶中、更改或从 S3 存储桶中删除的时间-Amazon FSx 仅在创建文件系统时更新链接的 S3 存储桶中的文件和目录列表。选择此选项后，FSx 不会更新任何新对象、更改或删除对象的文件和目录列表。

当您将导入首选项设置为根据链接 S3 存储桶中的更改更新文件系统文件和目录列表时，Amazon FSx 会在名为的链接 S3 存储桶上创建事件通知配置FSx. 请勿修改或删除FSxS3 存储桶上的事件通知配置 — 这样可以防止自动将新的或更改的文件和目录列表导入到文件系统中。

当 Amazon FSx 更新链接 S3 存储桶上已更改的文件列表时，即使该文件已写锁定，也会使用更新版本覆盖本地文件。同样，当 Amazon FSx 在链接 S3 存储桶上删除相应的对象时更新文件列表时，即使该文件处于写入锁定状态，也会删除本地文件。

Amazon FSx 会尽最大努力更新您的文件系统。在以下情况下，Amazon FSx 无法使用更改更新文件系统：

当 Amazon FSx 没有权限打开更改或新的 S3 对象时。
当FSx已删除或更改链接 S3 存储桶上的事件通知配置。

其中任何一种情况导致数据存储库生命周期状态变为配置错误. 有关更多信息，请参阅数据存储库周期状态。

先决条件

Amazon FSx 需要满足以下条件才能从链接的 S3 存储桶中自动导入新的、更改或删除的文件：

文件系统及其链接的 S3 存储桶必须位于同一存储桶中Amazon区域。
S3 存储桶没有配置错误的生命周期状态。有关详细信息，请参阅数据存储库周期状态。
您的账户必须具有在链接的 S3 存储桶上配置和接收事件通知所需的权限。

支持的文件更改类型

Amazon FSx 支持将以下更改导入到链接 S3 存储桶中发生的文件和文件夹中：

对文件内容的更改
更改文件或文件夹元数据
对符号链接目标或元数据的更改

更新导入首选项

创建新文件系统时，可以设置文件系统的导入首选项。有关更多信息，请参阅将您的文件系统链接到 S3 存储桶。

您还可以在创建文件系统后使用Amazon“管理控制台”、AmazonCLI 和 Amazon FSx API，如以下过程中所示。

Console

从打开 Amazon FSx 控制台https://console.aws.amazon.com/fsx/.
从控制面板中，选择文件系统.
选择要管理的文件系统以显示文件系统详细信息。
选择数据存储库以查看数据存储库设置。如果生命周期状态为，则可以修改导入首选项可用要么配置错误. 有关更多信息，请参阅数据存储库周期状态。
选择操作，然后选择更新导入首选项显示更新导入首选项对话框。
选择新设置，然后选择更新进行更改。

CLI

要更新导入首选项，请使用update-file-systemCLI 命令。相应的 API 操作是UpdateFileSystem.

成功更新文件系统后AutoImportPolicy，Amazon FSx 将更新后的文件系统的描述作为 JSON 返回，如下所示：


{
    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "Lifecycle": "UPDATING",
            "StorageCapacity": 2400,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED_DELETED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://lustre-export-test-bucket/",
                    "ExportPath": "s3://lustre-export-test-bucket/export",
                    "ImportedFileChunkSize": 1024
                }
                "PerUnitStorageThroughput": 50,
                "WeeklyMaintenanceStartTime": "2:04:30"
            }
        }
    ]
}

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

数据存储库事件日志

性能