从S3bucket自动导入更新

依默认,当您创建一个新的文件系统时, Amazon FSx 在创建文件系统时,会自动将对象(名称、所有权、时间戳和权限)的文件元数据导入链接的S3bucket中。您可以配置您的 Amazon FSx for Lustre 文件系统,用于在创建文件系统后自动导入添加到S3bucket或更改的对象的元数据。 Amazon FSx for Lustre 在创建后以与创建文件系统时导入文件元数据相同的方式更新已更改对象的文件和目录列表。何时 Amazon FSx 如果S3bucket中已更改的对象不再包含其元数据,则会更新已更改对象的文件和目录列表。 Amazon FSx 会维护文件的当前元数据值,而不是使用默认权限。

注意

导入设置仅在 Amazon FSx for Lustre 文件系统。

您可以在创建新的文件系统时设置导入首选项,并且可以使用FSx管理控制台、CLI和AWSAPI更新现有文件系统上的首选项设置。创建文件系统时,您现有的S3对象将显示为文件和目录列表。创建文件系统后,如何在更新S3bucket的内容时进行更新? 文件系统可以有以下导入首选项之一:

将对象添加到S3bucket时更新我的文件和目录列表 -(默认) Amazon FSx 自动更新添加到链接的S3bucket的任何新对象的文件和目录列表,这些对象当前不存在于FSx文件系统中。 Amazon FSx 不会导入S3bucket中已更改的对象的更新列表。 Amazon FSx 不会删除S3bucket中已删除的对象列表。
在对象添加到我的S3bucket中或更改时更新我的文件和目录列表 —— Amazon FSx 选择此选项后,将自动更新添加到S3bucket的任何新对象和S3bucket中更改的任何现有对象的文件和目录列表。 Amazon FSx 不会删除S3bucket中已删除的对象列表。
不要更新我的文件,并在对象添加到S3bucket中或更改时直接列出 —— Amazon FSx 在创建文件系统时,仅从链接的S3bucket更新文件和目录列表。选择此选项后,FSx不会更新任何新对象或已更改对象的文件和目录列表。

注意

的 Amazon FSx for Lustre 文件系统及其链接的S3bucket必须位于同一 AWS 区域自动导入更新。

当您设置导入首选项以根据链接的S3bucket中的更改更新您的文件系统文件和目录列表时, Amazon FSx 在链接的S3bucket上创建事件通知配置 FSx。请勿修改或删除 FSx S3bucket上的事件通知配置 – 这样做可防止自动将新的或更改的文件和目录列表导入到文件系统。

何时 Amazon FSx 会更新链接的S3bucket上已更改的文件列表,它使用更新版本覆盖本地文件,即使该文件是写锁定的。

Amazon FSx 会尽力更新您的文件系统。 Amazon FSx 在以下情况中,无法更改文件系统:

如果 Amazon FSx 无权打开已更改或新的S3对象。
如果 FSx 链接的S3bucket上的事件通知配置已删除或更改。

这些条件之一将导致数据存储库生命周期状态变为 配置错误. 有关更多信息，请参阅数据存储库生命周期状态。

最佳做法是定期扫描链接的S3bucket,并将更改与文件系统中的文件列表进行比较,特别是如果您的应用程序需要关于导入更改的保证时。

Prerequisites

以下条件是 Amazon FSx 从链接的S3bucket自动导入新文件或更改的文件:

文件系统及其链接的S3bucket位于同一 AWS 区域。
S3bucket没有配置错误 生命周期状态. 有关更多信息，请参阅数据存储库生命周期状态。
您的帐户具有在链接的S3bucket上配置和接收事件通知所需的权限。

支持的文件更改类型

Amazon FSx 支持将以下更改导入链接的S3bucket中的文件和文件夹:

文件内容更改
文件或文件夹元数据的更改
对对称链接目标或元数据的更改

正在更新导入首选项

您可以在创建新的文件系统时设置文件系统的导入首选项。有关更多信息，请参阅将文件系统链接到S3bucket。

您还可以在使用 AWS 管理控制台, AWS CLI和 Amazon FSx API,如下步骤所示。

Open the Amazon FSx console at https://console.amazonaws.cn/fsx/.
从仪表盘中,选择 文件系统.
选择要管理的文件系统,以显示文件系统详细信息。
选择 数据存储库 查看数据存储库设置。如果生命周期状态为可用或 配置错误. 有关更多信息，请参阅数据存储库生命周期状态。
选择操作,然后选择 更新导入首选项 以显示 更新导入首选项 对话框。
选择新设置,然后选择更新以进行更改。

要更新导入首选项,请使用 update-file-system CLI命令。相应的API操作为 UpdateFileSystem.


$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration AutoImportPolicy=NEW_CHANGED

在成功更新文件系统的 AutoImportPolicy, Amazon FSx 返回更新文件系统的描述作为JSON,如以下示例所示。


{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "Lifecycle": "UPDATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "WeeklyMaintenanceStartTime": "2:04:30",
                "DeploymentType": "PERSISTENT_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://lustre-export-test-bucket/",
                    "ExportPath": "s3://lustre-export-test-bucket/export",
                    "ImportedFileChunkSize": 1024
                }
            }
        }
    ]
}

Javascript 在您的浏览器中被禁用或不可用。

要使用 AWS 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

从数据存储库导入文件

预加载文件至您的文件系统