如何为 Delta Lake 数据存储指定配置选项 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

如何为 Delta Lake 数据存储指定配置选项

在为 Delta Lake 数据存储配置网络爬取程序时,可以指定以下配置参数:

Connection

可以选择或添加要用于此 Amazon S3 目标的网络连接。有关连接的信息,请参阅 连接到数据

创建用于查询的表

选择要如何创建 Delta Lake 表:

  • 创建原生表:允许与支持直接查询 Delta 事务日志的查询引擎集成。

  • 创建符号链接表:根据指定的配置参数,使用由由分区键分区的清单文件创建符号链接清单文件夹。

启用写入清单(仅限您选择为 Delta Lake 源创建符号链接表时才可配置)

选择是否检测 Delta Lake 事务处理日志中的表元数据或 Schema 更改;它会重新生成清单文件。如果已经使用 Delta Lake SET TBLPROPERTIES 配置了自动清单更新,则不应选择此选项。

包含 Delta Lake 表路径

将一个或多个指向 Delta 表的 Amazon S3 路径,格式为 s3://bucket/prefix/object

指定爬取某个 Delta Lake 数据存储。