本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
设置分区索引爬网程序配置选项
Data Catalog 支持分区索引,以提供对特定分区的有效查找。有关更多信息,请参阅 Working with partition indexes in Amazon Glue。默认情况下,Amazon Glue 爬网程序会为 Amazon S3 和 Delta Lake 目标创建分区索引。
定义爬网程序时,在设置输出和调度页面中的高级选项下,自动创建分区索引选项会默认处于启用状态。
要禁用此选项,可以在控制台中取消选择自动创建分区索引复选框。您也可以使用爬网程序 API 禁用此选项,具体需要在 Configuration
中设置 CreatePartitionIndex
。默认值为 true。
分区索引的使用说明
默认情况下,由爬网程序创建的表没有变量
partition_filtering.enabled
。有关更多信息,请参阅 Amazon Glue partition indexing and filtering。不支持为加密分区创建分区索引。