什么是 Amazon Lake Formation? - Amazon Lake Formation
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Lake Formation?

欢迎阅读 Amazon Lake Formation 开发者指南。

Amazon Lake Formation 帮助您集中管理、保护和全球共享用于分析和机器学习的数据。您可以对 Amazon Simple Storage Service (Amazon S3) 上的数据湖数据及其在 Amazon Glue Data Catalog中的元数据进行精细访问控制。

Lake Formation 提供了自己的权限模型来增强IAM权限模型。Lake Formation 权限模型允许通过简单的授予或撤销机制对存储在数据湖中的数据进行细粒度访问,就像关系数据库管理系统 () 一样。RDBMSLake Formation 权限是使用 Amazon 分析和机器学习服务(包括亚马逊 Athena、Amazon Redsh Amazon QuickSight ift Spectrum、Amazon Spectrum、亚马逊和)的列、行和单元格级别的精细控制来强制执行的。EMR Amazon Glue

的 Lake Formation 混合访问模式 Amazon Glue Data Catalog 允许您使用 Lake Formation 权限以及针对 Amazon S3 和 Amazon Glue 操作的IAM权限策略来保护和访问已编目的数据。借助混合访问模式,数据管理员可以有选择地以增量方式加载 Lake Formation 权限,一次专注于一个数据湖用例。

Lake Formation 还允许您在多个 Amazon 组织之间在内部和外部共享数据 Amazon Web Services 账户,或者直接与其他账户中的IAM委托人共享数据,从而提供对 Amazon Glue Data Catalog 元数据和基础数据的精细访问权限。

Lake Formation 特征

Lake Formation 可帮助您打破数据孤岛,并将不同类型的结构化和非结构化数据合并到一个集中式存储库中。首先,确定 Amazon S3 或关系数据库和 No SQL 数据库中的现有数据存储,然后将数据移动到您的数据湖中。然后对数据进行抓取、编目和准备以供分析。接下来,通过用户选择的分析服务,为他们提供对数据的安全自助访问。

数据摄取和管理

从已有的数据库中导入数据 Amazon

指定现有数据库的位置并提供访问凭证后,Lake Formation 就会读取数据及其元数据(架构)以了解数据来源的内容。然后,它会将数据导入您的新数据湖,并将元数据记录在中央目录中。使用 Lake Formation,你可以从运行在亚马逊或在RDS亚马逊托管的 My SQL SQL、Postgre、SQL Server、MariaDB 和 Oracle 数据库中导入数据。EC2支持批量和增量数据加载。

从其他外部来源导入数据

通过连接 Java 数据库连接 (JDBC),您可以使用 Lake Formation 从本地数据库中移动数据。确定您的目标来源并在控制台中提供访问凭证,然后 Lake Formation 会读取您的数据并将其加载到数据湖中 要从上面列出的数据库以外的数据库导入数据,您可以使用创建自定义ETL作业 Amazon Glue。

对数据进行编目和标记

您可以使用 Amazon Glue 爬网程序读取 Amazon S3 中的数据,提取数据库和表架构,并将这些数据存储在可搜索内容 Amazon Glue Data Catalog中。然后,使用 Lake Formation Lake Formation 基于标签的访问控制 (TBAC) 来管理数据库、表和列的权限。有关将表添加到数据目录的更多信息,请参阅创建数据目录表和数据库

安全管理

定义和管理访问控制

Lake Formation 提供了一个位置来管理数据湖中数据的访问控制。您可以定义安全策略,以限制对数据库、表、列、行和单元格级别的数据的访问。这些策略适用于IAM用户和角色,也适用于通过外部身份提供商进行联合时的用户和群组。你可以使用精细的控制来访问亚马逊 Redshift Spectrum、Athena 和亚马逊 Apache Spark 中由 Lake Formation 保护的数据。 Amazon Glue ETL EMR无论何时创建IAM身份,都要确保遵循IAM最佳实践。有关更多信息,请参阅《IAM用户指南》中的安全最佳实践

混合访问模式

Lake Formation 混合访问模式让您能够灵活地选择为 Amazon Glue Data Catalog中的数据库和表启用 Lake Formation 权限。在混合访问模式下,您现在有了增量路径,可您为一组特定的用户设置 Lake Formation 权限,而不会中断其他现有用户或工作负载的权限策略。有关更多信息,请参阅 混合访问模式

实施审计日志记录

Lake Formation 提供全面的审计日志 CloudTrail ,用于监控访问情况并显示对集中定义策略的合规性。您可以跨分析和机器学习服务审核数据访问历史记录,这些服务通过 Lake Formation 读取数据湖中的数据。这使您可以查看哪些用户或角色尝试访问了哪些数据、使用了哪些服务以及何时访问了数据和使用了服务。您可以像使用 CloudTrailAPIs和控制台访问任何其他 CloudTrail 日志一样访问审核日志。有关 CloudTrail 日志的更多信息,请参阅使用记录 Amazon Lake Formation API 调用 Amazon CloudTrail

行和单元格级别安全功能

Lake Formation 提供了数据筛选条件,允许您限制对列和行组合的访问。使用行级和单元级安全性来保护敏感数据,例如个人身份信息 () PII。有关行级别安全功能的更多信息,请参阅Lake Formation 中的数据筛选和单元格级别安全性

基于标签的访问控制

使用基于 Lake Formation 标签的访问控制,通过创建名为 LF-Tags 的自定义标签来管理数百甚至数千个数据权限。现在,您可以定义 LF 标签并将其附加到数据库、表或列。然后,在分析、机器学习 (ML) 以及提取、转换和加载 (ETL) 服务之间共享受控访问权限以供使用。LF-tags 通过将数千个资源的策略定义替换为几个逻辑标签,确保可以轻松扩展数据治理。Lake Formation 提供了对这些元数据的基于文本的搜索,因此您的用户可以快速找到他们需要分析的数据。

跨账户访问

Lake Formation 权限管理功能通过集中式方法简化了跨多个 Amazon 账户的分布式数据湖的保护和管理,提供了对数据目录和 Amazon S3 位置的精细访问控制。有关更多信息,请参阅 Lake Formation 中的跨账户数据共享

数据共享

数据共享功能使您能够对存储在不同数据来源(如 Amazon Redshift)中的数据集设置权限,而无需将数据或元数据迁移到 Amazon S3 或 Amazon Glue Data Catalog。您可以使用以下方法在 Lake Formation 中共享数据:

有关更多信息,请参阅 Lake Formation 中的数据共享

  • 将 Lake Formation 与 Amazon Redshift 数据共享集成 – 使用 Lake Formation 集中管理 Amazon Redshift 数据共享的数据库、表、列和行级访问权限,并限制用户对数据共享内对象的访问。

  • Amazon Glue Data Catalog 连接到外部元数据仓库-使用 Lake Formation Amazon Glue Data Catalog 连接到外部元数据仓库以管理对亚马逊 S3 中数据集的访问权限。无需将元数据迁移 Amazon Glue Data Catalog 到中。

    有关更多信息,请参阅 管理对使用外部元存储的数据集的权限

  • 将 Lake Form Amazon ation 与 Data Exchang e 集成 — Lake Formation 支持通过许可访问您的数据 Amazon Web Services Data Exchange。如果您有兴趣获得 Lake Formation 数据的许可,请参阅《Amazon Web Services Data Exchange 用户指南》中的什么是 Amazon Web Services Data Exchange?

Lake Formation 入门

我们建议您首先阅读以下部分: