将 Amazon Lake Formation 与 Amazon Redshift Spectrum 搭配使用
Amazon Redshift Spectrum 使您可以查询和检索 Amazon S3 数据湖中的数据，而不必将数据加载到 Amazon Redshift 集群节点中。
Redshift Spectrum 支持通过两种方法注册 Lake Formation 中启用的外部 Amazon Glue 数据目录。
使用附加了集群的且有权访问数据目录的 IAM 角色
要创建 IAM 角色，请按照以下过程中概述的步骤操作。
-
使用为管理对外部 Amazon Glue Data Catalog 资源的访问而配置的联合 IAM 身份。
Redshift Spectrum 支持使用联合 IAM 身份查询 Lake Formation 表。IAM 身份可以是 IAM 用户或 IAM 角色。有关 Redshift Spectrum 中 IAM 身份联合验证的更多信息，请参阅使用联合身份管理 Amazon Redshift 对本地资源和 Amazon Redshift 外部表的访问权限。
利用 Lake Formation 与 Redshift Spectrum 的集成，您可以在将数据注册到 Lake Formation 后定义对表的行、列和单元格级别访问控制权限。
有关更多信息，请参阅将 Redshift Spectrum 与 Amazon Lake Formation 搭配使用。
Redshift Spectrum 支持对 Lake Formation 托管的外部架构表执行读取或 SELECT 查询。
有关更多信息，请参阅为 Redshift Spectrum 创建外部架构。
支持事务表类型
下表列出了 Redshift Spectrum 中支持的事务表格格式以及适用的 Lake Formation 权限。
| 表格式 | 描述和允许的操作 | Redshift Spectrum 支持的 Lake Formation 权限 |
|---|---|---|
|
Apache Hudi |
一种用于简化增量数据处理和数据管线开发的格式。 Redshift Spectrum 支持在 Amazon S3 上使用 Apache Hudi 写时复制 (CoW) 有关更多信息，请参阅为 Apache Hudi 中管理的数据创建外部表。 |
通过Lake Formation 中的数据筛选和单元格级别安全性使用表、列、行和单元格级别权限保护 Hudi 表。 |
|
Apache Iceberg |
一种开放表格格式，它将大量文件作为表进行管理，并且支持现代分析数据湖操作，例如记录级别插入、更新、删除和时间旅行查询。 有关更多信息，请参阅将 Apache Iceberg 表与 Amazon Redshift 搭配使用。 |
Redshift Spectrum 支持使用 Apache Iceberg 表进行查询。 |
| Linux Foundation Delta Lake | Delta Lake 是一个开源项目，可帮助实施通常在 Amazon S3 或 Hadoop Distributed File System (HDFS) 上构建的现代数据湖架构。 Redshift Spectrum 支持查询 Delta Lake 表。有关更多信息，请参阅为 Apache Hudi 中托管的数据创建外部表。 |
支持表、列、行和单元格级别权限。 |