Amazon Glue 版本
Amazon Glue 版本参数是在添加或更新任务时配置的。Amazon Glue 版本决定了 Amazon Glue 支持的 Apache Spark 和 Python 版本。Python 版本指示了 Spark 类型的任务支持的版本。下表列出了可用的 Amazon Glue 版本、相应的 Spark 和 Python 版本以及其他功能更改。
Amazon Glue 版本
Amazon Glue 版本 | 支持的 Spark 和 Python 版本 | 功能更改 |
---|---|---|
0.9 |
|
在未指定 Amazon Glue 版本的情况下,创建的任务默认为 Amazon Glue 0.9。 |
Amazon Glue 1.0 |
|
您可以在 Amazon Glue ETL 任务中维护 Parquet 和 ORC 格式的任务书签(使用 Amazon Glue 版本 1.0)。以前,您只能在 Amazon Glue ETL 任务中为常见的 Amazon S3 源格式添加书签,例如 JSON、CSV、Apache Avro 和 XML。 为 ETL 输入和输出设置格式选项时,您可以指定使用 Apache Avro 读取器/写入器格式 1.8 来支持 Avro 逻辑类型读取和写入(使用 Amazon Glue 版本 1.0)。以前,只支持版本 1.7 Avro 读取器/写入器格式。 DynamoDB 连接类型支持写入器选项(使用 Amazon Glue 版本 1.0)。 |
Amazon Glue 2.0 |
|
除了 Amazon Glue 版本 1.0 提供的功能外,Amazon Glue 版本 2.0 还提供:
由于底层架构更改,Amazon Glue 版本 2.0 与 Amazon Glue 版本 1.0 的某些依赖项和版本不同。在跨主要 Amazon Glue 发布版本迁移之前,请验证您的 Glue 任务。 有关 Amazon Glue 版本 2.0 功能和限制的更多信息,请参阅运行 Spark ETL 作业,缩短启动时间。 |
3.0 |
|
Amazon Glue 3.0 是 Amazon Glue 的新版本。除了 Spark 引擎升级到 3.0 之外,此 Amazon Glue 版本还内置了一些优化和升级,例如:
限制以下是 Amazon Glue 3.0 的限制:
有关迁移到 Amazon Glue 版本 3.0 的更多信息,请参阅将 Amazon Glue 任务迁移到 Amazon Glue 版本 3.0 用于迁移到 Amazon Glue 3.0 的操作。 |