在 Amazon Glue Studio 中使用 Apache Iceberg 框架 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

在 Amazon Glue Studio 中使用 Apache Iceberg 框架

在数据目标中使用 Apache Iceberg 框架

在 Data Catalog 数据目标中使用 Apache Iceberg 框架

  1. 目标菜单中选择“Amazon Glue Studio Data Catalog”。

  2. 数据来源属性选项卡中,选择数据库和表。

  3. Amazon Glue Studio 将格式类型显示为 Apache Iceberg 和 Amazon S3 URL。

在 Amazon S3 数据目标中使用 Apache Iceberg 框架

输入值或从可用选项中进行选择以配置 Apache Iceberg 格式。

  • 格式 — 从下拉菜单中选择 Apache Iceberg

  • Amazon S3 目标位置 — 通过单击浏览 S3 来选择 Amazon S3 目标位置。

  • Data Catalog 更新选项在 Data Catalog 中创建表,并在后续运行时选择保留现有架构并添加新分区才能继续。使用 Amazon Glue 编写新的 Iceberg 表需要将 Data Catalog 配置为 Iceberg 表的目录。要更新已在 Data Catalog 中注册的现有 Iceberg 表,请选择 Data Catalog 作为目标。

    • 数据库 — 从 Data Catalog 中选择数据库。

    • 表名称 — 输入表名的值。Apache Iceberg 表名必须全部为小写。如果需要,请使用下划线,因为不允许使用空格。例如“data_lake_format_tables”。

屏幕截图显示在 Amazon S3 数据目标中使用 Apache Iceberg 框架时的数据目标属性。

在 Amazon S3 数据来源中使用 Apache Iceberg 框架

在 Data Catalog 数据来源中使用 Apache Iceberg 框架

  1. 来源菜单中选择“Amazon Glue Studio Data Catalog”。

  2. 数据来源属性选项卡中,选择数据库和表。

  3. Amazon Glue Studio 将格式类型显示为 Apache Iceberg 和 Amazon S3 URL。

屏幕截图显示了在 Data Catalog 数据来源中使用 Apache Iceberg 框架时的数据目标属性。

在 Amazon S3 数据来源中使用 Apache Iceberg 框架

Apache Iceberg 不能作为 Amazon Glue Studio 中 Amazon S3 源节点的数据选项提供。