设置分区索引爬网程序配置选项 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

设置分区索引爬网程序配置选项

Data Catalog 支持分区索引,以提供对特定分区的有效查找。有关更多信息,请参阅 Working with partition indexes in Amazon Glue。默认情况下,Amazon Glue 爬网程序会为 Amazon S3 和 Delta Lake 目标创建分区索引。

定义爬网程序时,在设置输出和调度页面中的高级选项下,自动创建分区索引选项会默认处于启用状态。

要禁用此选项,可以在控制台中取消选择自动创建分区索引复选框。您也可以使用爬网程序 API 禁用此选项,具体需要在 Configuration 中设置 CreatePartitionIndex 。默认值为 true。

分区索引的使用说明