在 PySpark 中编写 Amazon Glue ETL 脚本 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 PySpark 中编写 Amazon Glue ETL 脚本

您可以在 GitHub 网站上的 Amazon Glue 示例存储库中找到 Amazon Glue 的 Python 代码示例和实用程序。

将 Python 和 Amazon Glue 一起使用

Amazon Glue 支持使用 PySpark Python 方言的扩展来编写提取、转换和加载(ETL)任务脚本。本节介绍如何在 ETL 脚本中以及如何通过 Amazon Glue API 使用 Python。

Amazon Glue PySpark 扩展

Amazon Glue 为 PySpark Python 方言创建了以下扩展。

Amazon Glue PySpark 转换

Amazon Glue 创建了以下转换类以在 PySpark ETL 操作中使用。