将您的文件系统关联到 S3 存储桶

您可以将适用于 Lustre 的 Amazon FSx 文件系统链接到亚马逊 S3 中的数据存储库。可以在创建文件系统时创建链接，也可以在创建文件系统之后的任何时候创建链接。

文件系统上的目录与 S3 存储桶或前缀之间的链接称为数据存储库关联 (DRA)。在 FSx for Lustre 文件系统上，您最多可以配置 8 个数据存储库关联。最多可以排队 8 个 DRA 请求，但对于文件系统，一次只能处理一个请求。每个 DRA 都必须有一个唯一的 FSx for Lustre 文件系统目录以及与之关联的唯一的 S3 存储桶或前缀。

要将 S3 数据存储库中的对象作为文件系统上的文件和目录进行访问，必须将文件和目录元数据加载到文件系统中。您可以在创建 DRA 时从链接的数据存储库加载元数据，或者稍后使用导入数据存储库任务加载要使用 FSx for Lustre 文件系统访问的批量文件和目录的元数据，或者使用自动导出在数据存储库中添加对象、更改对象或从数据存储库中删除对象时自动加载元数据。

您可以将 DRA 配置为仅用于自动导入、仅用于自动导出或两者兼而有之。配置了自动导入和自动导出的数据存储库关联可在文件系统和链接的 S3 存储桶之间双向传播数据。当您更改 S3 数据存储库中的数据时，FSx for Lustre 会检测到更改，然后自动将更改导入您的文件系统。在您创建、修改或删除文件时，FSx for Lustre 会在应用程序完成文件修改后自动将更改异步导出到 Amazon S3。

创建数据存储库关联时，可以配置以下属性：

的文件系统路径和数据存储库路径设置提供了 Amazon FSx 中的路径和 S3 中的对象密钥之间的 1:1 映射。

关联的 S3 存储桶的区域和账户支持

创建指向 S3 存储桶的链接时，请记住以下区域和账户支持限制：

创建指向 S3 存储桶的链接

以下过程将引导您完成为 FSx for Lustre 文件系统创建数据存储库与现有 S3 存储桶关联的过程，使用了Amazon Web Services Management Console和Amazon Command Line Interface(Amazon CLI)。有关向 S3 存储桶添加权限以将其链接到您的文件系统的信息，请参阅在 Amazon S3 中添加使用数据存储库的权限。

更新数据存储库关联设置

您可以使用更新现有数据存储库关联的设置Amazon Web Services Management Console，Amazon CLI，以及亚马逊 FSx API，如以下过程所示。

删除与 S3 存储桶的关联

以下过程将引导您完成从现有 Amazon FSx 文件系统中删除与现有 S3 存储桶之间的数据存储库关联的过程，使用Amazon Web Services Management Console和Amazon Command Line Interface(Amazon CLI)。删除数据存储库关联会取消文件系统与 S3 存储桶的链接。

查看数据存储库关联详细信息

您可以使用 FSx for Lustre 控制台查看数据存储库关联的详细信息，Amazon CLI，还有 API。详细信息包括 DRA 的关联 ID、文件系统路径、数据存储库路径、导入设置、导出设置、状态及其关联文件系统的 ID。

数据存储库关联生命周期状态

数据存储库关联生命周期状态提供有关特定 DRA 的状态信息。数据存储库关联可以具有以下内容生命周期状态:

您可以使用 Amazon FSx 控制台查看数据存储库关联的生命周期状态Amazon Command Line Interface，还有亚马逊 FSx API。有关更多信息，请参阅查看数据存储库关联详细信息：

使用服务器端加密的 Amazon S3 存储桶

FSx for Lustre 支持 Amazon S3 存储桶，该存储桶使用服务器端加密和 S3 托管密钥 (SSE-S3)，以及Amazon KMS keys存储在Amazon Key Management Service（SSE-KMS）。

如果您希望 Amazon FSx 在写入您的 S3 存储桶时对数据进行加密，则需要将 S3 存储桶上的默认加密设置为 SSE-S3 或 SSE-KMS。有关更多信息，请参阅配置默认加密在亚马逊 S3 用户指南。将文件写入您的 S3 存储桶时，Amazon FSx 会遵循您的 S3 存储桶的默认加密策略。

默认情况下，亚马逊 FSx 支持使用 SSE-S3 加密的 S3 存储桶。如果您想将您的 Amazon FSx 文件系统链接到使用 SSE-KMS 加密的 S3 存储桶，则需要在客户托管密钥策略中添加声明，允许 Amazon FSx 使用您的 KMS 密钥加密和解密 S3 存储桶中的对象。

以下语句允许特定的 Amazon FSx 文件系统加密和解密特定 S3 存储桶的对象，存储桶名称。

{
    "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id"
    },
    "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "aws_account_id",
            "kms:ViaService": "s3.bucket-region.amazonaws.com"
        },
        "StringLike": {
            "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
        }
    }
}

"StringLike": {
    "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name"
}

以下政策声明允许您账户中的所有 Amazon FSx 文件系统链接到特定的 S3 存储桶。

{
    "Sid": "Allow access through S3 for the FSx SLR to use the KMS key on the objects in the given S3 bucket",
    "Effect": "Allow",
    "Principal": {
        "AWS": "*"
    },
    "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:CallerAccount": "aws_account_id",
            "kms:ViaService": "s3.bucket-region.amazonaws.com"
        },
        "StringLike": {
            "aws:userid": "*:FSx",
            "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*"
        }
    }
}

通过其他方式访问服务器端加密的 Amazon S3 存储桶Amazon Web Services 账户

在创建链接到加密的 Amazon S3 存储桶的 FSx for Lustre 文件系统后，您必须授予AWSServiceRoleForFSxS3Access_fs-01234567890在从链接的 S3 存储桶读取或写入数据之前，服务关联角色 (SLR) 访问用于加密 S3 存储桶的 KMS 密钥。您可以使用已拥有 KMS 密钥权限的 IAM 角色。

您可以使用 IAM 角色调用以下内容Amazon KMS用于为 S3 SLR 创建授权的 API，以便 SLR 获得对 S3 对象的权限。要查找与您的 SLR 关联的 ARN，请使用您的文件系统 ID 作为搜索字符串搜索您的 IAM 角色。

$ aws kms create-grant --region fs_account_region \
      --key-id arn:aws:kms:s3_bucket_account_region:s3_bucket_account:key/key_id \
      --grantee-principal arn:aws:iam::fs_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_file-system-id \
      --operations "Decrypt" "Encrypt" "GenerateDataKey" "GenerateDataKeyWithoutPlaintext" "CreateGrant" "DescribeKey" "ReEncryptFrom" "ReEncryptTo"

有关服务相关角色的更多信息，请参阅 为适用于 Lustre 的亚马逊 FsX 使用服务相关角色。