使用 Amazon Glue Iceberg REST 扩展端点连接到 Data Catalog

Amazon Glue Iceberg REST 扩展端点提供了 Apache Iceberg REST 规范中不存在的其他 API，并提供了服务器端扫描规划功能。当您访问存储在 Amazon Redshift 托管存储中的表时，将使用这些附加 API。可以使用 Apache Iceberg Amazon Glue Data Catalog 扩展从应用程序访问该端点。

端点配置 – 使用服务端点可以访问 Redshift 托管存储中的表目录。有关区域特定的端点，请参阅 Amazon Glue service endpoints reference guide。例如，连接到 us-east-1 区域中的 Amazon Glue 时，需要配置端点 URI 属性，如下所示：

Endpoint : https://glue.us-east-1.amazonaws.com/extensions

catalog_name = "myredshiftcatalog"
aws_account_id = "123456789012"
aws_region = "us-east-1"
spark = SparkSession.builder \
    .config("spark.sql.defaultCatalog", catalog_name) \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.type", "glue") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.id", "{123456789012}:redshiftnamespacecatalog/redshiftdb") \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .getOrCreate()