本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Lake Formation 与亚马逊 Redshift Spectrum 一起使用
Amazon Redshift Spectrum 使您可以查询和检索 Amazon S3 数据湖中的数据,而不必将数据加载到 Amazon Redshift 集群节点中。
Redshift Spectrum 支持两种注册启用了 Lake Formation 的外部 Amazon Glue 数据目录的方法。
使用附加了集群的且有权访问数据目录的 IAM 角色
要创建 IAM 角色,请按照以下过程中概述的步骤操作。
-
使用为管理对外部 Amazon Glue Data Catalog 资源的访问而配置的联合 IAM 身份。
Redshift Spectrum 支持使用联合 IAM 身份查询 Lake Formation 表。IAM 身份可以是 IAM 用户或 IAM 角色。有关 Redshift Spectrum 中 IAM 身份联合验证的更多信息,请参阅使用联合身份管理 Amazon Redshift 对本地资源和 Amazon Redshift 外部表的访问权限。
利用 Lake Formation 与 Redshift Spectrum 的集成,您可以在将数据注册到 Lake Formation 后定义对表的行、列和单元格级别访问控制权限。
有关更多信息,请参阅将 Redshift 频谱与配合使用。 Amazon Lake Formation
Redshift Spectrum 支持对 Lake Formation 托管的外部架构表执行读取或 SELECT
查询。
有关更多信息,请参阅为 Redshift Spectrum 创建外部架构。
支持事务表类型
下表列出了 Redshift Spectrum 中支持的事务表格格式以及适用的 Lake Formation 权限。
表格式 | 描述和允许的操作 | Redshift Spectrum 支持的 Lake Formation 权限 |
---|---|---|
Apache Hudi |
一种用于简化增量数据处理和数据管线开发的格式。 Redshift Spectrum 支持在 Amazon S3 上使用 Apache Hudi 写时复制 (CoW) 有关更多信息,请参阅为 Apache Hudi 中管理的数据创建外部表。 |
通过Lake Formation 中的数据筛选和单元格级别安全性使用表、列、行和单元格级别权限保护 Hudi 表。 |
Apache Iceberg |
一种开放表格格式,它将大量文件作为表进行管理,并且支持现代分析数据湖操作,例如记录级别插入、更新、删除和时间旅行查询。 有关更多信息,请参阅将 Apache Iceberg 表与 Amazon Redshift 搭配使用。 |
Redshift Spectrum 支持使用 Apache Iceberg 表进行查询。 |
Linux Foundation Delta Lake | Delta Lake 是一个开源项目,可帮助实施通常在 Amazon S3 或 Hadoop Distributed File System (HDFS) 上构建的现代数据湖架构。 Redshift Spectrum 支持查询 Delta Lake 表。有关更多信息,请参阅为 Apache Hudi 中托管的数据创建外部表。 |
支持表、列、行和单元格级别权限。 |