Amazon Lake Formation:工作方式 - Amazon Lake Formation
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Lake Formation:工作方式

Amazon Lake Formation提供关系数据库管理系统 (RDBMS) 权限模型,用于授予或撤消对 Data Catalog 资源(例如 Amazon S3 中包含基础数据的数据库、表和列)的访问权限。易于管理的 Lake Formation 权限取代了复杂的 Amazon S3 存储桶策略和相应的 IAM 策略。

在 Lake Formation 中,可以在两个级别上实现权限:

  • 对数据库和表等数据目录资源强制执行元数据级权限

  • 代表集成引擎管理存储在 Amazon S3 中的基础数据的存储访问权限

湖泊形成权限管理工作流程

Lake Formation 与分析引擎集成,可查询 Amazon S3 数据存储和在 Lake Formation 注册的元数据对象。下图说明了权限管理在 Lake Formation 中的工作原理。

湖泊形成权限管理高级步骤

在 Lake Formation 为您的数据湖中的数据提供访问控制之前,数据湖管理员或者具有管理权限的用户设置个人数据目录表用户策略,以允许或拒绝使用 Lake Formation 权限访问数据目录表。

然后,数据湖管理员或管理员委托的用户向数据目录数据库和表的用户授予 Lake Formation 权限,并将该表的 Amazon S3 位置注册到 Lake Formation。

  1. 获取元数据— 委托人(用户)将查询或 ETL 脚本提交给集成分析引擎比如亚马逊雅典娜,Amazon Glue、亚马逊 EMR 或亚马逊 Redshift Spectrum。集成的分析引擎会识别所请求的表,并将元数据请求发送到数据目录。

  2. 检查权限— 数据目录通过 Lake Formation 检查用户的权限,如果用户有权访问该表,则将允许用户查看的元数据返回给引擎。

  3. 获取证书— 数据目录让引擎知道该表是否由 Lake Formation 管理。如果基础数据已在 Lake Formation 中注册,则分析引擎会通过授予临时访问权限来请求 Lake Formation 提供数据访问权限。

  4. 获取数据— 如果用户有权访问该表,Lake Formation 将提供对集成分析引擎的临时访问权限。使用临时访问权限,分析引擎从 Amazon S3 获取数据,并执行必要的筛选,例如列、行或单元格筛选。当引擎完成运行作业时,它会将结果返回给用户。这个过程被称为凭证自动售货

    如果该表不是由 Lake Formation 管理的,则分析引擎的第二次调用将直接调用 Amazon S3。对相关的 Amazon S3 存储桶策略和 IAM 用户策略进行了数据访问评估。

    每当您使用 IAM policy 时,请确保遵循 IAM 最佳实践。有关更多信息,请参阅《IAM 用户指南》中的 IAM 安全最佳实践