Amazon Glue 版本
可以在添加或更新作业时配置 Amazon Glue 版本参数。Amazon Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的任务支持的版本。下表列出了可用的 Amazon Glue 版本、相应的 Spark 和 Python 版本以及其他功能更改。
Amazon Glue 版本
Amazon Glue 版本 | 支持的运行时环境版本 | 支持的 Java 版本 | 功能更改 |
---|---|---|---|
Amazon Glue 4.0 | Spark 环境版本
|
Java 8 |
Amazon Glue 4.0 是 Amazon Glue 的最新版本。此 Amazon Glue 版本内置了多项优化和升级,例如:
限制以下是 Amazon Glue 4.0 的限制:
有关迁移到 Amazon Glue 4.0 版本的更多信息,请参阅将 Amazon Glue for Spark 作业迁移到 Amazon Glue 版本 4.0。 |
Ray 环境版本
|
不适用 |
使用 Amazon Glue for Ray 构建和运行分布式 Python 应用程序。
Amazon Glue 4.0 中对 Ray 作业的限制
|
|
Amazon Glue 3.0 |
|
Java 8 |
除了 Spark 引擎升级到 3.0 之外,此 Amazon Glue 版本还内置了一些优化和升级,例如:
限制以下是 Amazon Glue 3.0 的限制:
有关迁移到 Amazon Glue 版本 3.0 的更多信息,请参阅将 Amazon Glue for Spark 作业迁移到 Amazon Glue 版本 3.0。 |
Amazon Glue 2.0(已弃用,终止支持) |
|
不适用 |
除了 Amazon Glue 1.0 版本提供的功能外,Amazon Glue 2.0 版本还提供:
注意由于底层架构更改,Amazon Glue 2.0 版本 与 Amazon Glue 1.0 版本的某些依赖项和版本不同。在跨主要 Amazon Glue 发布版本迁移之前,请验证您的 Amazon Glue 任务。 有关 Amazon Glue 2.0 版本功能和限制的更多信息,请参阅运行 Spark ETL 作业,缩短启动时间。 |
Amazon Glue 1.0(已弃用,终止支持) |
|
不适用 |
您可以在 Amazon Glue ETL 任务中维护 Parquet 和 ORC 格式的任务书签(使用 Amazon Glue 版本 1.0)。以前,您只能在 Amazon Glue ETL 任务中为常见的 Amazon S3 源格式添加书签,例如 JSON、CSV、Apache Avro 和 XML。 为 ETL 输入和输出设置格式选项时,您可以指定使用 Apache Avro 读取器/写入器格式 1.8 来支持 Avro 逻辑类型读取和写入(使用 Amazon Glue 版本 1.0)。以前,只支持版本 1.7 Avro 读取器/写入器格式。 DynamoDB 连接类型支持写入器选项(使用 Amazon Glue 1.0 版本)。 限制以下是 Amazon Glue 1.0 的限制:
|
Amazon Glue 0.9(已弃用,终止支持) |
|
不适用 |
在未指定 Amazon Glue 版本的情况下,默认创建的任务为 Amazon Glue 0.9。 限制以下是 Amazon Glue 0.9 的限制:
|
注意
以下 Glue 版本支持下列版本的 PythonShell:
Glue 版本 1.0 中支持 PythonShell v3.6。
Glue 版本 3.0 中支持 PythonShell v3.9。
此外,仅在 Glue 版本 1.0 和 0.9 中支持开发端点。