# Amazon Glue 版本
可以在添加或更新作业时配置 Amazon Glue 版本参数。Amazon Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的任务支持的版本。下表列出了可用的 Amazon Glue 版本、相应的 Spark 和 Python 版本以及其他功能更改。
可以使用 [Apache Spark 的生成式人工智能升级](upgrade-analysis.md)将 Glue ETL 作业从较旧的 Glue 版本（≥ 2.0）升级到最新的 Glue 版本。
## Amazon Glue 版本
- **Amazon Glue 5.1**
- **支持的运行时环境版本:** + Spark 3.5.6
+ Python 3.11
+ Scala 2.12.18
- **支持的 Java 版本:** Java 17
- **功能更改:** Amazon Glue 5.1 是在未指定 Amazon Glue 版本的情况下创建作业时默认使用的版本。
除了 Spark 引擎升级之外，此 Amazon Glue 版本还内置了一些优化和升级，例如：+ 开放表格式 (OTF) 已更新至 Hudi 1.0.2、Iceberg 1.10.0 和 Delta Lake 3.3.2
+ Iceberg 格式版本 3.0
+ 具有读取和写入功能的 Hudi 全表访问（FTA）
+ 在 Lake Formation 中注册的 Hive、Iceberg 和 Delta Lake 表上的 Spark 原生精细访问控制（FGAC）DDL/DML 操作
+ 在 CloudTrail 日志中审计 Glue 和 Lake Formation API 调用的上下文
+ Iceberg 实体化视图支持
- **Amazon Glue 5.0**
- **支持的运行时环境版本:** + Spark 3.5.4
+ Python 3.11
+ Scala 2.12.18
- **支持的 Java 版本:** Java 17
- **功能更改:** 除了框架更新之外，此 Amazon Glue 版本还内置了优化和升级，例如：+ Amazon SageMaker Unified Studio 支持
+ Amazon SageMaker Lakehouse 支持
+ 开放表格式（OTF）已更新至 Hudi 0.15.0、Iceberg 1.7.1 和 Delta Lake 3.3.0
+ 使用 Lake Formation 的 Spark 原生精细访问控制。
+ Amazon S3 访问权限管控支持
+ `requirements.txt` 支持安装其他 Python 库
+ Amazon DataZone 中的数据世系支持
+ Amazon S3 表存储桶支持
+ Amazon Glue Data Catalog 多方言视图支持 限制 以下是 Amazon Glue 5.0 的限制： + Glue 4.0 或更早版本支持的基于 Glue Dynamic Frame / `GlueContext` 的表级访问控制（具有 Amazon Lake Formation 权限）在 Glue 5.0 中不受支持。请使用 Glue 5.0 中的新 [Spark 原生精细访问控制 (FGAC)](https://docs.amazonaws.cn/glue/latest/dg/security-lf-enable.html)。
有关迁移到 Amazon Glue 5.0 版本的更多信息，请参阅[将 Amazon Glue for Spark 作业迁移到 Amazon Glue 版本 5.0](migrating-version-50.md)。
- **Amazon Glue 4.0**
- **支持的运行时环境版本:** Spark 环境版本 + Spark 3.3.0
+ Python 3.10 / **支持的 Java 版本:** Java 8 / **功能更改:** Amazon Glue 4.0 在此 Amazon Glue 版本中内置了许多优化和升级，例如：+ Spark 功能从 Spark 3.1 到 Spark 3.3 进行了多项升级： 与 Pandas 配对时的功能进行了多项改进。有关更多信息，请参阅 [Python 3.3 中的新增功能](https://spark.apache.org/releases/spark-release-3-3-0.html)。 在 Amazon EMR 上开发的其他优化。 升级到 EMR 文件系统（EMRFS）2.53。
+ 从 Log4j 1.x 迁移到 Log4j 2
+ Python 模块在 Amazon Glue 3.0 基础上进行了多项更新，例如 Boto 的升级版本。
+ 升级了多个连接器，其中包括默认的 Amazon Redshift 连接器。请参阅[附录 C：连接器升级](migrating-version-40.md#migrating-version-40-appendix-connector)。
+ 升级了多个 JDBC 驱动程序。请参阅[附录 B：JDBC 驱动程序升级](migrating-version-40.md#migrating-version-40-appendix-jdbc-driver)。
+ 使用新的 Amazon Redshift 连接器和 JDBC 驱动程序进行了更新。
+ 为 Apache Hudi、Delta Lake 和 Apache Iceberg 提供了本机开放式数据湖框架支持。
+ 为基于 Amazon S3 的 Cloud Shuffle 存储插件（Apache Spark 插件）提供了本机支持，从而可以使用 Amazon S3 实现随机排序和弹性存储功能。 限制 以下是 Amazon Glue 4.0 的限制： + Amazon Glue 机器学习和个人身份信息（PII）转换在 Amazon Glue 4.0 中尚不可用。
有关迁移到 Amazon Glue 4.0 版本的更多信息，请参阅[将 Amazon Glue for Spark 作业迁移到 Amazon Glue 版本 4.0](migrating-version-40.md)。
- **支持的运行时环境版本:** Ray 环境版本 + Ray 2.4.0
Python 3.9 / **支持的 Java 版本:** 不适用 / **功能更改:** 使用 Amazon Glue for Ray 构建和运行分布式 Python 应用程序。+ 支持 Python 3.9 中的 Ray-2.4.0 数据分布（`ray[data]`）。有关此 Ray 版本的更多信息，请参阅 Ray GitHub 存储库中的 [Ray-2.4.0](https://github.com/ray-project/ray/releases/tag/ray-2.4.0)。
+ 支持在 `Ray2.4` 运行时环境中安装其他 Python 库。有关更多信息，请参阅 [用于 Ray 作业的其他 Python 模块](edit-script-ray-env-dependencies.md#edit-script-ray-python-libraries-additional)。
+ 将 Ray 作业的日志和指标与 Amazon CloudWatch 集成。有关更多信息，请参阅[对日志中的 Amazon Glue for Ray 错误进行故障排除](troubleshooting-ray.md)和[使用指标监控 Ray 作业](author-job-ray-monitor.md)。
+ 在 Amazon Glue Studio 每个作业运行页面上聚合和可视化 Ray 作业的指标。
+ 支持将文件分发到集群中的每个工作目录，将对象从 Ray 对象存储溢出到 Amazon S3，以及控制分配给 Ray 任务的最小工作节点数。有关更多信息，请参阅 [在 Ray 作业中使用作业参数](author-job-ray-job-parameters.md)。
**Amazon Glue 4.0 中对 Ray 作业的限制**+ 在本版本中，Ray 的 Amazon Glue 交互式会话仍处于预览状态。
+ Amazon Glue for Ray 目前无法与 Amazon VPC 集成。如果没有公共路由，就无法访问 Amazon 内 VPC 中的资源。有关将 Amazon Glue 与 Amazon VPC 结合使用的更多信息，请参阅 [为 Amazon Glue（Amazon PrivateLink）配置接口 VPC 端点（Amazon PrivateLink）](vpc-interface-endpoints.md)。
+ Amazon Glue for Ray 在美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（俄勒冈州）、亚太地区（东京）和欧洲地区（爱尔兰）发布。
- **Amazon Glue 3.0**
- **支持的运行时环境版本:** + Spark 3.1.1
+ Python 3.7
- **支持的 Java 版本:** Java 8
- **功能更改:** 除了 Spark 引擎升级到 3.0 之外，此 Amazon Glue 版本还内置了一些优化和升级，例如：+ 针对 Spark 3.0 构建 Amazon Glue ETL 库，Spark 3.0 是 Spark 的主要版本。
+ Amazon Glue 3.0 支持流式传输任务。
+ 包括针对性能和可靠性的新 Amazon Glue Spark 运行时优化： 基于 Apache Arrow 的更快内存列式处理，用于读取 CSV 数据。 基于 SIMD 执行矢量化读取 CSV 数据。 Spark 升级还包括在 Amazon EMR 上开发的其他优化。 将 EMRFS 从 2.38 升级到 2.46，为 Amazon S3 访问启用新功能和错误修复。
+ 升级了新 Spark 版本所需的几个依赖项。
+ 为我们本机支持的数据来源升级了 JDBC 驱动程序。 限制 以下是 Amazon Glue 3.0 的限制： + Amazon Glue 机器学习转换在 Amazon Glue 3.0 中尚不可用。
+ 如果某些自定义 Spark 连接器依赖于 Spark 2.4 并且与 Spark 3.1 不兼容，则它们不能与 Amazon Glue 3.0 一起使用。
- **Amazon Glue 2.0（[生命周期终止日期为 2026 年 4 月 1 日](https://docs.amazonaws.cn/glue/latest/dg/glue-version-support-policy.html)）**
- **支持的运行时环境版本:** + Spark 2.4.3
+ Python 3.7
- **支持的 Java 版本:** 不适用
- **功能更改:** 除了 Amazon Glue 1.0 版本提供的功能外，Amazon Glue 2.0 版本还提供：+ 用于在 Amazon Glue 中运行 Apache Spark ETL 任务并减少启动时间的升级基础设施。
+ 默认日志记录现在是实时的，具有驱动程序和执行程序的单独流以及输出和错误。
+ 支持在任务级别指定其他 Python 模块或不同版本。 由于底层架构更改，Amazon Glue 2.0 版本 与 Amazon Glue 1.0 版本的某些依赖项和版本不同。在跨主要 Amazon Glue 发布版本迁移之前，请验证您的 Amazon Glue 任务。
- **Amazon Glue 1.0（[生命周期终止日期为 2026 年 4 月 1 日](https://docs.amazonaws.cn/glue/latest/dg/glue-version-support-policy.html)）**
- **支持的运行时环境版本:** + Spark 2.4.3
+ Python 2.7
+ Python 3.6
- **支持的 Java 版本:** 不适用
- **功能更改:** 您可以在 Amazon Glue ETL 任务中维护 Parquet 和 ORC 格式的任务书签（使用 Amazon Glue 版本 1.0）。以前，您只能在 Amazon Glue ETL 任务中为常见的 Amazon S3 源格式添加书签，例如 JSON、CSV、Apache Avro 和 XML。
为 ETL 输入和输出设置格式选项时，您可以指定使用 Apache Avro 读取器/写入器格式 1.8 来支持 Avro 逻辑类型读取和写入（使用 Amazon Glue 版本 1.0）。以前，只支持版本 1.7 Avro 读取器/写入器格式。
DynamoDB 连接类型支持写入器选项（使用 Amazon Glue 1.0 版本）。 限制 以下是 Amazon Glue 1.0 的限制： + Amazon Glue 版本 0.9 和 1.0 在亚太地区（雅加达）（`ap-southeast-3`）、中东（阿联酋）（`me-central-1`）或后续其他新区域不可用。
- **Amazon Glue 0.9（[生命周期终止日期为 2026 年 4 月 1 日](https://docs.amazonaws.cn/glue/latest/dg/glue-version-support-policy.html)）**
- **支持的运行时环境版本:** + Spark 2.2.1
+ Python 2.7
- **支持的 Java 版本:** 不适用
- **功能更改:** 限制 以下是 Amazon Glue 0.9 的限制： + Amazon Glue 版本 0.9 和 1.0 在亚太地区（雅加达）（`ap-southeast-3`）、中东（阿联酋）（`me-central-1`）或后续其他新区域不可用。
**注意**
以下 Glue 版本支持下列版本的 PythonShell：
Glue 版本 1.0 中支持 PythonShell v3.6。
Glue 版本 3.0 中支持 PythonShell v3.9。
此外，仅在 Glue 版本 1.0 和 0.9 中支持开发端点。