在 Amazon Glue 控制台上处理表

如果您计划从 Amazon Athena 访问表，请提供只包含字母数字和下划线字符的名称。有关更多信息，请参阅 Athena 名称。

源数据的位置必须是 Amazon S3 路径。

数据的数据格式必须与向导中列出的格式之一匹配。相应的分类和其他表格属性将根据所选格式自动填充。 SerDe您可以使用以下格式定义表：

您可以为表定义分区键。

目前，使用控制台创建的分区表不能用于 ETL 作业。

添加以下内联策略，以向 Amazon S3 授予对未注册到 Lake Formation 的数据位置的读/写权限。此策略还包括更新数据目录中表的权限，以及允许 Amazon Glue 在 Amazon CloudWatch 日志中添加日志并发布指标的权限。对于 Amazon S3 中未注册到 Lake Formation 的源数据，访问权限由 Amazon S3 和 Amazon Glue 操作的 IAM 权限策略决定。

请将以下内联策略中的 bucket-name 替换为您的 Amazon S3 存储桶名称，请将 aws-account-id 和 region 替换为有效的 Amazon 账户和数据目录所在的区域，将 database_name 替换为数据库的名称，并将 table_name 替换为表的名称。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::<bucket-name>/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::<bucket-name>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:UpdateTable",
                "glue:GetTable"
            ],
            "Resource": [
                "arn:aws:glue:<region>:<aws-account-id>:table/<database-name>/<table-name>",
                "arn:aws:glue:<region>:<aws-account-id>:database/<database-name>",
                "arn:aws:glue:<region>:<aws-account-id>:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:<region>:<aws-account-id>:log-group:/aws-glue/iceberg-compaction/logs:*"
        }
    ]
}        

使用以下策略为注册到 Lake Formation 的数据启用压缩功能。

有关将 Amazon S3 存储桶注册到 Lake Formation 的更多信息，请参阅 Requirements for roles used to register locations。

{
 "Version": "2012-10-17",
 "Statement": [
    {
        "Effect": "Allow",
        "Action": [
            "lakeformation:GetDataAccess"
        ],
        "Resource": "*"
    },
    {
        "Effect": "Allow",
        "Action": [
        "glue:UpdateTable",
        "glue:GetTable"
        ],

        "Resource": [
            "arn:aws:glue:<region>:<aws-account-id>:table/<databaseName>/<tableName>",
            "arn:aws:glue:<region>:<aws-account-id>:database/<database-name>",
            "arn:aws:glue:<region>:<aws-account-id>:catalog"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "logs:CreateLogGroup",
            "logs:CreateLogStream",
            "logs:PutLogEvents"
        ],
        "Resource": "arn:aws:logs:<region>:<aws-account-id>:log-group:/aws-glue/iceberg-compaction/logs:*"
        }
    ]
 }         
      

如果未向压缩角色授予对表的IAM_ALLOWED_PRINCIPALS组权限，则该角色需要对表的 Lake Formation ALTER、DESCRIBE、INSERT 和 DELETE 权限。

（可选）如果要压缩的 Iceberg 表包含使用服务器端加密进行加密的 Amazon S3 存储桶中数据，该压缩角色需要具有解密 Amazon S3 对象并生成新数据密钥以将对象写入加密存储桶的权限。将以下策略添加到需要的 Amazon KMS 密钥。我们仅支持在存储桶级加密。

{
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::<aws-account-id>:role/<compaction-role-name>"
    },
    "Action": [
        "kms:Decrypt",
        "kms:GenerateDataKey"
    ],
    "Resource": "*"
} 

（可选）对于注册到 Lake Formation 的数据位置，用于注册该位置的角色需要具有解密 Amazon S3 对象并生成新数据密钥以将对象写入加密存储桶的权限。有关更多信息，请参阅 Registering an encrypted Amazon S3 location。

（可选）如果 Amazon KMS 密钥存储在其他 Amazon 账户中，则需要为该压缩角色添加以下权限。

{ 
    "Version": "2012-10-17", 
    "Statement": [ 
        { 
            "Effect": "Allow", 
            "Action": [ 
                "kms:Decrypt", 
                "kms:GenerateDataKey"
            ], 
            "Resource": ["arn:aws:kms:<REGION>:<KEY_OWNER_ACCOUNT_ID>:key/<KEY_ID>"]
        }
    ] 
}            
             

用于运行压缩的角色必须拥有该角色的 iam:PassRole 权限。

{ 
    "Version": "2012-10-17", 
    "Statement": [ 
        { 
            "Effect": "Allow", 
            "Action": [ 
                "iam:PassRole" 
            ], 
            "Resource": [ 
                "arn:aws:iam::<account-id>:role/<compaction-role-name>" 
            ] 
        } 
    ] 
}           
            

将以下信任策略添加到该角色，以便 Amazon Glue 服务代入该 IAM 角色来运行压缩进程。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
 }              

开始时间 – 在 Lake Formation 中启动压缩进程的时间。该值是一个采用 UTC 时间格式的时间戳。

结束时间 – 在 Lake Formation 中结束压缩进程的时间。该值是一个采用 UTC 时间格式的时间戳。

状态 – 压缩运行的状态。值为成功或失败。

已压缩文件数 – 已压缩的文件总数。

已压缩字节数 – 已压缩的字节总数。

已压缩的字节数

已压缩的文件数

分配给作业的 DPU 数

作业持续时间（小时）

数据类型：布尔值、整型、长整型、浮点数、双精度、字符串、十进制、日期、时间、时间戳、字符串、UUID、二进制

压缩：zstd、gzip、snappy、未压缩

加密：数据压缩仅支持默认的 Amazon S3 加密 (SSE-S3) 和服务器端 KMS 加密 (SSE-KMS)。

资源装箱压缩

架构演变

具有目标文件大小的表（写入。 target-file-size-bytes 冰山配置中的属性）在 128MB 到 512 MB 的包含范围内。

区域

当存储基础数据的 Amazon S3 存储桶位于另一个账户中时，您可以从数据目录所在的账户运行压缩。要实现此目的，压缩角色需要具有访问 Amazon S3 存储桶的权限。

数据类型：固定

压缩：brotli、lz4

随分区规格的演变压缩文件。

常规排序或 Z-Order 排序

合并或删除文件：压缩进程会跳过拥有与之关联的删除文件的数据文件。

对跨账户表进行压缩：您无法对跨账户表进行压缩。

对跨区域表进行压缩：您无法对跨区域表进行压缩。

针对资源链接启用压缩

Amazon S3 存储桶的 VPC 端点