Amazon Glue 版本支持策略 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

Amazon Glue 版本支持策略

Amazon Glue 是一项无服务器数据集成服务,可轻松发现、准备和组合数据,以用于分析、机器学习和应用程序开发。Amazon Glue 任务包含在 Amazon Glue 中执行数据集成工作的业务逻辑。Amazon Glue 中有两种类型的作业:Spark(批处理和串流)Python shell。Spark 任务会在由 Amazon Glue 托管的 Apache Spark 环境中执行。Python 外壳作业运行 Python 脚本作为外壳。定义任务时,需要指定 Amazon Glue 版本,以在运行时环境中配置 Spark 和 Python 版本。例如:Amazon Glue 版本 2.0 任务支持 Spark 2.4.3 和 Python 3.7。

支持策略

Amazon Glue 偶尔会停止对旧 Amazon Glue 版本的支持。您可以继续在这些版本上创建、更新和运行任务。但如果您在已弃用的版本上运行任务,将不再能够获得技术支持。Amazon Glue 将不再对已弃用的版本应用安全补丁或其他更新。如果您在已弃用的版本上运行任务,Amazon Glue 也不会遵守 SLA 的要求。

下列 Amazon Glue 版本已经或计划终止支持。终止支持从指定日期午夜(太平洋时区)生效。

类型 Glue 版本 终止支持
Spark Spark 2.2、Scala 2(Glue 版本 0.9) 2022/6/1
Spark Spark 2.2、Python 2(Glue 版本 0.9) 2022/6/1
Spark Spark 2.4、Python 2(Glue 版本 1.0) 2022/6/1
类型 Python 版本 终止支持
Python shell Python 2(Glue 版本 1.0) 2022/6/1

Amazon 强烈建议您将任务迁移到受支持的版本。

有关将 Spark 任务迁移到最新 Amazon Glue 版本的信息,请参阅 将 Amazon Glue 任务迁移到 Amazon Glue 版本 3.0

要将 Python shell 任务迁移到最新 Amazon Glue 版本,请执行以下操作:

  • 在控制台中,选择 Python 3 (Glue Version 1.0)

  • CreateJob/UpdateJob API 中,将 GlueVersion 参数设置为 1.0,并将 PythonVersion 参数下的 3 设置为 Command

  • 您需要使任务脚本与 Python 3 兼容。