将您的文件系统链接到 S3 桶

您可以将 Amazon FSx for Lustre 文件系统链接到 Amazon S3 中的数据存储库。您可以在创建文件系统时，或者在文件系统创建后的任何时间创建该链接。

文件系统上的目录与 S3 桶或前缀之间的链接称为数据存储库关联（DRA）。一个 FSx for Lustre 文件系统上最多可以配置 8 个数据存储库关联。最多 8 个 DRA 请求可以加入队列，但文件系统每次只能处理一个请求。每个 DRA 必须有唯一的 FSx for Lustre 文件系统目录以及唯一的 S3 桶或前缀与之关联。

要以文件系统上文件和目录的形式访问 S3 数据存储库上的对象，文件和目录元数据必须加载到文件系统中。您可以在创建 DRA 时从链接的数据存储库加载元数据，或者在稍后使用导入数据存储库任务时为您要通过 FSx for Lustre 文件系统访问的批量文件和目录加载元数据，或者在对象添加到数据存储库、在其中发生更改或者从中删除时通过自动导出自动加载元数据。

您可以将 DRA 配置为仅用于自动导入、仅用于自动导出或同时用于两者。同时用于自动导入和自动导出的数据存储库关联在文件系统和关联 S3 存储桶之间双向传播数据。当您对 S3 数据存储库中的数据进行更改时，FSx for Lustre 会检测到更改，然后自动将更改导入您的文件系统。当您创建、修改或删除文件时，Amazon FSx for Lustre 将在您的应用程序完成文件修改后，自动异步将更改导出到 Amazon S3。

在创建数据存储库关联时，您可以配置以下属性：

文件系统路径和数据存储库路径设置使 Amazon FSx 中的路径与 S3 中的对象键 1:1 映射。

针对链接的 S3 桶的区域和账户支持

当您创建指向 S3 桶的链接时，请记住以下区域和账户支持限制：

创建指向 S3 桶的链接

以下过程将引导您完成 Amazon Web Services Management Console 使用和 () 为 FSx for Lustre 文件系统创建数据存储库与现有 S3 存储桶关联 Amazon Command Line Interface 的Amazon CLI过程。有关为 S3 桶添加权限以将其链接到文件系统的信息，请参阅添加在 Amazon S3 中使用数据存储库的权限。

更新数据存储库关联设置

您可以使用 Amazon Web Services Management Console、 Amazon CLI和 Amazon FSx API 更新现有数据存储库关联的设置，如以下步骤所示。

删除与 S3 桶的关联

以下过程将引导您完成使用和 Amazon Command Line Interface (Amazon CLI) 将数据存储库关联从现有 Amazon FSx 文件系统删除到现有 S3 存储桶 Amazon Web Services Management Console 的过程。删除数据存储库关联将取消文件系统与 S3 桶的关联。

查看数据存储库关联详细信息

您可以使用 FSx for Lustre 控制台 Amazon CLI、和 API 查看数据存储库关联的详细信息。详细信息包括 DRA 的关联 ID、文件系统路径、数据存储库路径、导入设置、导出设置、状态及其关联文件系统的 ID。

数据存储库关联生命周期状态

数据存储库关联生命周期状态提供有关特定 DRA 的状态信息。数据存储库关联可以具有以下生命周期状态：

您可以使用 Amazon FSx 控制台、和 Amazon FSx API 查看数据存储库关联的 Amazon Command Line Interface生命周期状态。有关更多信息，请参阅 查看数据存储库关联详细信息。

使用服务器端加密的 Amazon S3 桶

FSx for Lustre 支持使用 S3 托管密钥 (SSE-S3) 和存储在 (SSE-KMS) 中的服务器端加密的 Amazon S3 存储桶。 Amazon KMS keys Amazon Key Management Service

如果您希望 Amazon FSx 在写入您的 S3 桶时对数据进行加密，您需要将 S3 桶上的默认加密设置为 SSE-S3 或 SSE-KMS。有关更多信息，请参阅《Amazon S3 用户指南》中的配置原定设置加密。将文件写入您的 S3 桶时，Amazon FSx 将遵循您的 S3 存储桶的原定设置加密策略。

默认情况下，Amazon FSx 支持使用 SSE-S3 加密的 S3 桶。如果您想将您的 Amazon FSx 文件系统链接到使用 SSE-KMS 加密的 S3 桶，您需要为客户托管密钥政策添加声明，允许 Amazon FSx 使用您的 KMS 密钥加密和解密 S3 桶中的对象。

以下声明允许特定 Amazon FSx 文件系统为特定 S3 桶 bucket_name 加密和解密对象。

{
    "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id"
    },
    "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "aws_account_id",
            "kms:ViaService": "s3.bucket-region.amazonaws.com"
        },
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
        }
    }
}

"StringLike": {
    "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name"
}

以下策略声明允许您的账户中的所有 Amazon FSx 文件系统链接到特定的 S3 桶。

{
    "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
    "Effect": "Allow",
    "Principal": {
        "AWS": "*"
    },
    "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "aws_account_id",
            "kms:ViaService": "s3.bucket-region.amazonaws.com"
        },
        "StringLike": {
            "aws:userid": "*:FSx",
            "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
        }
    }
}

以不同的方式访问服务器端加密的 Amazon S3 存储桶 Amazon Web Services 账户

创建链接到加密 Amazon S3 桶的 FSx for Lustre 文件系统后，您必须授权 AWSServiceRoleForFSxS3Access_fs-01234567890 服务相关角色（SLR）访问用于加密 S3 桶的 KMS 密钥，然后才能从链接的 S3 桶读取或写入数据。您可以使用已拥有 KMS 密钥权限的 IAM 角色。

您可以使用 IAM 角色调用以下 Amazon KMS API 为 S3 SLR 创建授权，以便 SLR 获得对 S3 对象的权限。要查找与您的 SLR 关联的 ARN，请使用您的文件系统 ID 作为搜索字符串来搜索您的 IAM 角色。

$ aws kms create-grant --region fs_account_region \
      --key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \
      --grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \
      --operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo"

有关服务相关角色的更多信息，请参阅使用 Amazon FSx 的服务相关角色。