本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
填充和管理事务表
Apache Iceberg
您可以使用以下方法在 Amazon Glue Data Catalog 中填充 Iceberg、Hudi 和 Delta Lake 表:
-
Amazon Glue 爬网程序 – Amazon Glue 爬网程序 可以自动发现 Iceberg、Hudi 和 Delta Lake 表元数据并在 Data Catalog 中填充这些数据。有关更多信息,请参阅 使用爬网程序填充 Data Catalog 。
-
Amazon Glue ETL 任务 – 您可以创建 ETL 任务,以便将数据写入 Iceberg、Hudi 和 Delta Lake 表,并将其元数据填充到 Data Catalog 中。有关更多信息,请参阅 Using data lake frameworks with Amazon Glue ETL jobs。
-
Amazon Glue 控制台、Amazon Lake Formation 控制台、Amazon CLI 或 API – 您可以使用 Amazon Glue 控制台、Lake Formation 控制台或 API 在 Data Catalog 中创建和管理 Iceberg 表定义。
创建 Apache Iceberg 表
您可以使用驻留在 Amazon S3 中的数据在 Amazon Glue Data Catalog 中创建使用 Apache Parquet 数据格式的 Apache Iceberg 表。该数据目录中的表是表示数据存储中数据的元数据定义。默认情况下,Amazon Glue 会创建 Iceberg v2 表。有关 v1 和 v2 表之间的区别,请参阅 Apache Iceberg 文档中的格式版本更改
Apache Iceberg
您可以使用 Amazon Glue 或 Lake Formation 控制台或 Amazon Glue API 中的 CreateTable
操作在 Data Catalog 中创建 Iceberg 表。有关更多信息,请参阅 CreateTable 操作 (Python: create_table)。
在数据目录中创建 Iceberg 表时,您必须在 Amazon S3 中指定表格式和元数据文件路径,以便能够执行读取和写入操作。
当您向 Amazon Lake Formation 注册 Amazon S3 数据位置时,您可以使用 Lake Formation 通过精细访问控制权限来保护 Iceberg 表。对于 Amazon S3 中的源数据和未向 Lake Formation 注册的元数据,访问权限由 Amazon S3 和 Amazon Glue 操作的 IAM 权限策略决定。有关更多信息,请参阅 Managing permissions。
注意
数据目录不支持创建分区和添加 Iceberg 表属性。
先决条件
要在数据目录中创建 Iceberg 表并设置 Lake Formation 数据访问权限,您需要完成以下要求:
-
在没有向 Lake Formation 注册数据的情况下创建 Iceberg 表所需的权限。
除了在数据目录中创建表所需的权限外,表创建者还需要以下权限:
针对资源 arn:aws:s3:::{bucketName} 的
s3:PutObject
-
针对资源 arn:aws:s3:::{bucketName} 的
s3:GetObject
-
针对资源 arn:aws:s3:::{bucketName} 的
s3:DeleteObject
-
使用向 Lake Formation 注册的数据创建 Iceberg 表所需的权限:
要使用 Lake Formation 管理和保护数据湖中的数据,请向 Lake Formation 注册包含表数据的 Amazon S3 位置。这样,Lake Formation 就可以向 Athena、Redshift Spectrum 和 Amazon EMR 等 Amazon 分析服务提供凭证以访问数据。有关注册 Amazon S3 位置的更多信息,请参阅 Adding an Amazon S3 location to your data lake。
读取和写入向 Lake Formation 注册的基础数据的主体需要以下权限:
-
lakeformation:GetDataAccess
-
DATA_LOCATION_ACCESS
对某个位置具有数据位置权限的主体也对所有子位置具有位置权限。
有关数据位置权限的更多信息,请参阅 Underlying data access control Ulink。
-
要启用压缩,该服务需要代入有权更新数据目录中的表的 IAM 角色。有关详细信息,请参阅 表优化的先决条件
创建 Iceberg 表
您可以使用 Amazon Glue 或 Lake Formation 控制台或 Amazon Command Line Interface 创建 Iceberg v1 和 v2 表,如本页所述。您也可以使用 Amazon Glue 爬网程序 创建 Iceberg 表。有关更多信息,请参阅《Amazon Glue 开发人员指南》中的数据目录和爬网程序。
创建 Iceberg 表