Amazon Glue 发布说明 - Amazon Glue
Amazon Glue 版本
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

Amazon Glue 发布说明

Amazon Glue 版本参数是在添加或更新任务时配置的。Amazon Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的作业支持的版本。下表列出了可用的 Amazon Glue 版本、相应的 Spark 和 Python 版本以及其他功能更改。

Amazon Glue 版本

Amazon Glue 版本 支持的 Spark 和 Python 版本 功能更改
Amazon Glue0.9

  • Spark 2.2.1

  • Python 2.7

在未指定 Amazon Glue 版本的情况下，创建的任务默认为 Amazon Glue 0.9。
Amazon Glue 1.0

  • Spark 2.4.3

  • Python 2.7

  • Python 3.6

您可以在 Amazon Glue ETL 任务中维护 Parquet 和 ORC 格式的任务书签（使用 Amazon Glue 版本 1.0）。以前，您只能在 Amazon Glue ETL 任务中为常见的 Amazon S3 源格式添加书签，例如 JSON、CSV、Apache Avro 和 XML。

为 ETL 输入和输出设置格式选项时，您可以指定使用 Apache Avro 读取器/写入器格式 1.8 来支持 Avro 逻辑类型读取和写入（使用 Amazon Glue 版本 1.0）。以前，只支持版本 1.7 Avro 读取器/写入器格式。

DynamoDB 连接类型支持写入器选项（使用 Amazon Glue 版本 1.0）。
Amazon Glue 2.0

  • Spark 2.4.3

  • Python 3.7

除了 Amazon Glue 版本 1.0 提供的功能外，Amazon Glue 版本 2.0 还提供：

  • 用于在 Amazon Glue 中运行 Apache Spark ETL 任务并减少启动时间的升级基础设施。

  • 默认日志记录现在是实时的，具有驱动程序和执行程序的单独流以及输出和错误。

  • 支持在任务级别指定其他 Python 模块或不同版本。

注意

由于底层架构更改，Amazon Glue 版本 2.0 与 Amazon Glue 版本 1.0 的某些依赖项和版本不同。在跨主要 Amazon Glue 发布版本迁移之前，请验证您的 Glue 任务。

有关 Amazon Glue 版本 2.0 功能和限制的更多信息，请参阅运行 Spark ETL 任务，缩短启动时间。
Amazon Glue3.0

  • Spark 3.1.1

  • Python 3.7

Amazon Glue 3.0 是 的新版本。Amazon Glue除了 Spark 引擎升级到 3.0 之外，此 Amazon Glue 版本还内置了一些优化和升级，例如：

  • 针对 Spark 3.0 构建 Amazon Glue ETL 库，Spark 3.0 是 Spark 的主要版本。

  • Amazon Glue 3.0 支持流式传输任务。

  • 包括针对性能和可靠性的新 Amazon Glue Spark 运行时优化：

    • 基于 Apache Arrow 的更快内存列式处理，用于读取 CSV 数据。

    • 基于 SIMD 执行矢量化读取 CSV 数据。

    • Spark 升级还包括在 Amazon EMR 上开发的其他优化。

    • 将 EMRFS 从 2.38 升级到 2.46，为 Amazon S3 访问启用新功能和错误修复。

  • 升级了新 Spark 版本所需的几个依赖项。请参阅 附录 A：显著依赖项升级。

  • 为我们本机支持的数据源升级了 JDBC 驱动程序。请参阅 附录 B：JDBC 驱动程序升级。

Limitations

以下是 Amazon Glue 3.0 的限制：

  • Amazon Glue 机器学习转换在 3.0 中尚不可用。Amazon Glue

  • 如果某些自定义 Spark 连接器依赖于 Spark 2.4 并且与 Spark 3.1 不兼容，则它们不能与 Amazon Glue 3.0 一起使用。

有关迁移到 Amazon Glue 版本 3.0 的更多信息，请参阅将 Amazon Glue 任务迁移到 Amazon Glue 版本 3.0 用于迁移到 Amazon Glue 3.0 的操作。