Amazon Glue 版本支持策略 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Glue 版本支持策略

Amazon Glue 是一项无服务器数据集成服务,可轻松发现、准备和组合数据,以用于分析、机器学习和应用程序开发。Amazon Glue 任务包含在 Amazon Glue 中执行数据集成工作的业务逻辑。Amazon Glue 中有三种类型的作业:Spark(批次和流式处理)、RayPython shell。定义作业时,需要指定 Amazon Glue 版本,其在底层 Spark、Ray 或 Python 运行时环境中配置版本。例如:Amazon Glue 版本 2.0 Spark 作业支持 Spark 2.4.3 和 Python 3.7。

支持策略

Amazon Glue 偶尔会停止对旧 Amazon Glue 版本的支持。但如果您在已弃用的版本上运行任务,将不再能够获得技术支持。Amazon Glue 将不再对已弃用的版本应用安全补丁或其他更新。如果您在已弃用的版本上运行任务,Amazon Glue 也不会遵守 SLA 的要求。

当终止支持 2.0 或更高 Amazon Glue 版本时,您将无法创建作业,只能编辑或运行作业。

下列 Amazon Glue 版本已经或计划终止支持。终止支持从指定日期午夜(太平洋时区)生效。

类型 Glue 版本 终止支持
Spark Spark 2.2、Scala 2(Glue 版本 0.9) 2022 年 1 月 6 日
Spark Spark 2.2、Python 2(Glue 版本 0.9) 2022 年 1 月 6 日
Spark Spark 2.4、Python 2(Glue 版本 1.0) 2022 年 1 月 6 日
Spark Spark 2.4、Python 3(Glue 版本 1.0) 2022 年 9 月 30 日
Spark Spark 2.4、Scala 2(Glue 版本 1.0) 2022 年 9 月 30 日
Spark Glue 版本 2.0 2024 年 1 月 31 日
类型 Python 版本 终止支持
Python shell Python 2(Glue 版本 1.0) 2022 年 1 月 6 日
类型 Notebook 版本 终止支持
开发终端节点 Zeppelin notebook 2022 年 9 月 30 日

Amazon 强烈建议您将任务迁移到受支持的版本。

有关将 Spark 任务迁移到最新 Amazon Glue 版本的信息,请参阅将 Amazon Glue 任务迁移到 Amazon Glue 4.0 版本

要将 Python shell 任务迁移到最新 Amazon Glue 版本,请执行以下操作:

  • 在控制台中,选择 Python 3 (Glue Version 4.0)

  • CreateJob/UpdateJobAPI 中,将GlueVersion参数设置为2.0PythonVersionCommand参数3下方的设置为。该GlueVersion配置不会影响 Python shell 作业的行为,因此递增GlueVersion没有好处。

  • 您需要使任务脚本与 Python 3 兼容。

注意

在 2022 年 8 月推出印度尼西亚雅加达(ap-southeast-3)区域之前推出的所有 Amazon 区域都有允许运行 Amazon Glue 0.9/1.0 版本作业的客户名单。在这些较旧的区域中,您可以使用空值创建作业,根据区域的不同,该作业将默认为版本 0.9/1.0。对于任何以后推出的 Amazon 区域,您必须在 API 中明确设置 Amazon Glue 版本。Amazon Glue 不再接受空参数。如果您在参数中传递 0.9 或 1.0,则会遇到错误“不支持 Glue 版本 0.9(或)1.0”。