本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon Glue 组件
Amazon Glue 提供控制台和 API 操作来设置和管理您的提取、转换和加载 (ETL) 工作负载。您可以通过多个特定于语言的开发工具包和 Amazon Command Line Interface (Amazon CLI) 来使用 API 操作。有关使用 Amazon CLI 的信息，请参阅 Amazon CLI 命令参考。
Amazon Glue 使用 Amazon Glue Data Catalog来存储有关数据源、转换和目标的元数据。数据目录是 Apache Hive 元存储的简易替代。Amazon Glue Jobs system提供用于为您的数据定义、安排和运行 ETL 操作的托管基础设施。有关 Amazon Glue API 的更多信息，请参阅Amazon Glue API。
Amazon Glue 控制台
您可以使用 Amazon Glue 控制台来定义和协调您的 ETL 工作流程。该控制台在 Amazon Glue Data Catalog和 Amazon Glue Jobs system中调用多个 API 操作以执行以下任务：
-
定义 Amazon Glue 对象，如作业、表、爬网程序和连接。
-
安排爬网程序的运行时间。
-
为作业触发器定义事件或计划。
-
搜索和筛选 Amazon Glue 对象的列表。
-
Edit 转换脚本。
Amazon Glue Data Catalog
Amazon Glue Data Catalog 是您在 Amazon 云中的持久性技术元数据存储。
每个 Amazon 账户在每个 Amazon 区域有一个 Amazon Glue Data Catalog。每个数据目录都是组织成数据库的高度可扩展的表集合。表是存储在 Amazon Opache Hadoop Distributed File System、Amazon Opache Hadoop Distributed File OpenSearch Systed File Systed Amazon Glue Data Catalog 提供了一个统一的存储库，不同的系统可以在其中存储和查找元数据来跟踪数据孤岛中的数据。然后，您可以使用元数据在各种应用程序中以统一的方式查询和转换该数据。
您将数据目录与 Amazon Identity and Access Management 策略和 Lake Formation 一同使用，从而控制对表和数据库的访问。通过这样做，您可以允许企业中的不同组将数据安全地发布到更广泛的组织，同时以高度精细的方式保护敏感信息。
数据目录以 CloudTrail 及 Lake Formation 还提供全面的审计和监管功能，其中有架构更改跟踪和数据访问控制。这有助于确保数据不会被不当修改或无意中共享。
有关保护及审计 Amazon Glue Data Catalog 的信息，请参阅：
-
Amazon Lake Formation – 有关更多信息，请参阅《Amazon Lake Formation 开发人员指南》中的 什么是 Amazon Lake Formation？
-
CloudTrail— 有关更多信息，请参阅什么是 CloudTrail？ 在《Amazon CloudTrail 用户指南》中。
以下是其他 Amazon 服务和使用 Amazon Glue Data Catalog 的开源项目：
-
Amazon Athena – 有关更多信息，请参阅《Amazon Athena 用户指南》中的 了解表、数据库和数据目录。
-
Amazon Redshift Spectrum – 有关更多信息，请参阅《Amazon Redshift 数据库开发人员指南》中的 使用 Amazon Redshift Spectrum 查询外部数据。
-
Amazon EMR – 有关更多信息，请参阅《Amazon EMR 管理指南》中的 使用基于资源的策略实现 Amazon EMR 对 Amazon Glue Data Catalog 的访问。
-
Amazon Glue Data CatalogApache Hive 元存储的客户端 — 有关此 GitHub 项目的更多信息，请参阅 Apache Hive 元存储的Amazon Glue Data Catalog客户端
。
Amazon Glue 爬网程序和分类器
Amazon Glue 还能让您设置爬网程序，它可以扫描所有类型的存储库中的数据，对其进行分类，从中提取架构信息，并自动在 Amazon Glue Data Catalog中存储元数据。然后 Amazon Glue Data Catalog 可用于指导 ETL 操作。
有关如何设置爬网程序和分类器的信息，请参阅在 Amazon Glue 中定义爬网程序。有关如何使用 Amazon Glue API 编程爬网程序和分类器的信息，请参阅爬网程序和分类器 API。
Amazon Glue ETL 操作
通过使用数据目录中的元数据，Amazon Glue可以自动生成具有Amazon Glue扩展的 Scala 或 PySpark（用于 Apache Spark 的 Python API）脚本，您可以使用和修改它来执行各种 ETL 操作。例如，您可以提取、清除和转换原始数据，然后将结果存储在不同的存储库中，以便可以对其进行查询和分析。此类脚本可能会将 CSV 文件转换为关系形式并将其保存到 Amazon Redshift 中。
有关如何使用 Amazon Glue ETL 功能的更多信息，请参阅ETL 脚本编程。
Amazon Glue 中的流式处理 ETL
通过 Amazon Glue，您能够使用连续运行的任务对流数据执行 ETL 操作。Amazon Glue 流式处理 ETL 基于 Apache Spark Structured Streaming 引擎而构建，可以从 Amazon Kinesis Data Streams、Apache Kafka 和 Amazon Managed Streaming for Apache Kafka（Amazon MSK）提取流。流式处理 ETL 可以清理和转换流数据，并将其加载到 Amazon S3 或 JDBC 数据存储中。在 Amazon Glue 中使用流式处理 ETL 可以处理 IoT 流、点击流和网络日志等事件数据。
如果您知道流数据源的架构，则可以在数据目录表中指定该架构。如果没有，则可以在流式 ETL 任务中启用架构检测。然后，任务会根据传入的数据自动确定架构。
流式处理 ETL 任务可以同时使用 Amazon Glue 内置转换和 Apache Spark Structured Streaming 的原生转换。有关更多信息，请参阅 Apache Spark 网站上的流式处理 DataFrame DataFrames /数据集的操作
有关更多信息，请参阅在 Amazon Glue 中流式处理 ETL 作业：
Amazon Glue 作业系统
Amazon Glue Jobs system提供托管基础设施以协调 ETL 工作流程。您可以在 Amazon Glue 中创建作业，用于自动处理您用于提取、转换数据并将数据传输到不同位置的脚本。作业可以安排和串联，也可以由诸如新数据到达之类的事件触发。
有关如何使用 Amazon Glue Jobs system的更多信息，请参阅监控 Amazon Glue。有关使用 Amazon Glue Jobs system API 编程的信息，请参阅作业 API。