本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon Lake Formation 与一起使用 Amazon Glue
数据工程师和 DevOps 专业人员使用 Amazon Glue 带有 Apache Spark 的提取、转换和加载 (ETL)，在 Amazon S3 中对其数据集进行转换，并将转换后的数据加载到数据湖和数据仓库中，用于分析、机器学习和应用程序开发。由于会有不同的团队访问 Amazon S3 中的相同数据集，因此必须根据其角色授予和限制权限。
Amazon Lake Formation 是在此基础上构建的 Amazon Glue，并且服务通过以下方式进行交互：
-
Lake Formation 和 Amazon Glue 共享同一数据目录。
-
以下 Lake Formation 控制台功能可以调用 Amazon Glue 控制台：
-
作业 – 有关更多信息，请参阅《Amazon Glue 开发人员指南》中的添加作业。
-
爬网程序 – 有关更多信息，请参阅《Amazon Glue 开发人员指南》中的使用爬网程序编录数据。
-
-
使用 Lake Formation 蓝图时生成的工作流是 Amazon Glue 工作流。您可以在 Lake Formation 控制台和 Amazon Glue 控制台中查看和管理这些工作流。
-
机器学习转换功能在 Lake Formation 中提供，并且是针对 Amazon Glue API 操作构建的。您可以在 Amazon Glue 控制台上创建和管理机器学习转换功能。有关更多信息，请参阅《Amazon Glue 开发人员指南》中的机器学习转换。
您可以使用 Lake Formation 细粒度访问控制来管理现有的数据目录资源和 Amazon S3 数据位置。
注意
Amazon Glue 在从底层 Amazon S3 位置获取数据时，ETL 需要对整个表具有完全访问权限。 Amazon Glue 如果您对表应用列级权限，ETL 作业就会失败。但是，您可以通过定义数据筛选条件来创建列级别和行级别安全性。有关更多信息，请参阅 有关列级别筛选的注意事项和限制 Lake Formation 评估表中定义的数据筛选器，并仅从 Amazon S3 中检索 Amazon Glue ETL 任务所需的筛选数据。
支持事务表类型
通过应用 Lake Formation 权限，您可以保护基于 Amazon S3 的数据湖中的事务数据。下表列出了中支持的交易表格式 Amazon Glue 和 Lake Formation 权限。Lake Formation 强制执行这些 Amazon Glue 操作权限。
支持的表格格式 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 表格式 | 描述和允许的操作 | 中支持 Lake Formation 权限 Amazon Glue | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Hudi |
一种开放表格格式，用于简化增量数据处理和数据管线开发。 有关示例，请参阅中的 “使用 Hudi 框架”。 Amazon Glue |
表级权限可用于 Hudi 表。 有关更多信息，请参阅限制。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Iceberg |
一种开放表格格式，可将大量文件作为表进行管理。 有关示例，请参阅中的使用 Iceberg 框架。 Amazon Glue |
表级权限可用于 Iceberg 表。 有关更多信息，请参阅限制。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Linux Foundation Delta Lake |
Delta Lake 是一个开源项目，可帮助实施通常在 Amazon S3 或 Hadoop Distributed File System (HDFS) 上构建的现代数据湖架构。 有关示例，请参阅中的使用 Delta Lake 框架 Amazon Glue。 |
表级权限可用于 Delta Lake 表。 有关更多信息，请参阅限制。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
其他 资源
博客文章和存储库
-
Amazon Cloudformation 模板和 pyspark 代码示例
存储库，用于使用 Amazon Glue Apache Hudi 和 Amazon S3 分析流数据。