Amazon MWAA 用户指南历史记录 - Amazon Managed Workflows for Apache Airflow
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon MWAA 用户指南历史记录

下表介绍了自 2020 年 11 月以来对 Amazon MWAA 服务文档的重要新增。如需有关本文档更新的通知,您可以订阅 RSS 源。

变更说明日期

全新 Apache Airflow 版本

亚马逊 MWAA 现在支持 Apache Airflow v2.11.0。此更新包括有关更新的提供程序包的信息,以及有关在亚马逊 MWAA 上使用 Apache Airflow v2.11.0 的详细信息。

2026年1月7日

添加了 Apache Airflow v3 支持

更新了文档以包括对 Apache Airflow v3 的支持

2025 年 10 月 1 日

IPv6 更新

添加了有关 IPv6 支持的信息。

2025 年 8 月 26 日

环境更新

添加了有关在环境处于 MAINTENANCE 状态的情况下执行更新时 workerReplacementStrategy 会从 GRACEFUL 变为 FORCED 的注释。

2025 年 8 月 6 日

版本弃用信息

已更新有关版本弃用的主题,包括 Apache Airflow v2.4.3、Apache Airflow v2.5.1 和 Apache Airflow v2.6.3 的弃用通知和时间表。

2025 年 6 月 24 日

添加了一个新的环境类:mw1.micro

Amazon MWAA 现在提供了一个新的环境类:mw1.micro。

2024 年 11 月 19 日

支持使用更简单的方法来访问 Apache Airflow REST API

亚马逊 MWAA 现在提供了一种使用凭证与 Apache Airflow REST API 进行交互的简化方法。 Amazon

2024 年 10 月 23 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.10.1。此更新包括有关更新的提供程序包的信息,以及有关在 Amazon MWAA 上使用 Apache Airflow v2.10.1 的详细信息。

2024 年 9 月 26 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.9.2。此更新包括有关更新的提供程序包的信息,以及有关在 Amazon MWAA 上使用 Apache Airflow v2.9.2 的详细信息。

2024 年 7 月 9 日

Amazon MWAA 支持配置自定义 Web 服务器域名

Amazon MWAA 支持为无互联网访问权限的私有环境配置自定义 Web 服务器域名。此更新包括以下新主题,其中说明了设置新自定义域的信息。

2024 年 6 月 18 日

Amazon MWAA 支持 Web 服务器自动扩缩和 Apache Airflow REST API

Amazon MWAA 现在支持 Web 服务器自动扩缩以及访问和使用 Apache Airflow REST API 的功能。

2024 年 5 月 16 日

完善了有关自动扩缩行为的说明

更新了以下主题,以反映 Worker 节点在 Fargate Worker 节点缩减过程中接到新任务时新的 Amazon MWAA 自动扩缩行为。

2024 年 5 月 10 日

支持更大的实例大小

Amazon MWAA 现在支持两个更大的实例大小选项,以满足较大工作负载的需要:mw1.xlargemw1.2xlarge

2024 年 4 月 16 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.8.1。此更新包括有关更新的提供程序包的信息,以及有关在 Amazon MWAA 上使用 Apache Airflow v2.8.1 的详细信息。

2024 年 2 月 22 日

支持共享 Amazon VPC

Amazon MWAA 支持为使用亚马逊 OpenSearch 服务的组织创建跨账户环境,使用所有者账户中的中央共享亚马逊 VPC 来管理亚马逊 MWAA 资源。作为此次发布的一部分,Amazon MWAA 允许您选择创建和管理自己的 Amazon VPC 端点。

2023 年 11 月 15 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.7.2。此更新包括有关更新的提供程序包的信息,以及有关在 Amazon MWAA 上使用 Apache Airflow v2.7.2 的详细信息。

2023 年 11 月 6 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.6.3。此更新包括有关更新的提供程序包的信息,以及有关在 Amazon MWAA 上使用 Apache Airflow v2.6.3 的详细信息。

2023 年 8 月 9 日

版本弃用信息

已更新有关版本弃用的主题,包括 Apache Airflow v2.0.2 和 Apache Airflow v2.2.2 的弃用通知和时间表。

2023 年 7 月 31 日

新主题和用例

Amazon MWAA 支持次要版本升级。此更新包括以下新主题,该主题描述了如何升级环境并确保您的工作流程资源与要升级到的 Apache Airflow 版本兼容:

2023 年 6 月 5 日

新区域

Amazon MWAA 现已在北京和宁夏区域推出。有关更多信息,请参阅以下内容:

2023 年 5 月 16 日

已更新主题

已更新由客户托管的 IAM 策略,该策略授予用户 Amazon MWAA 的完整控制台和 API 访问权限。此更新描述了为什么您必须为提供 iam:PassRole 权限以允许用户将角色传递给 Amazon MWAA。Amazon MWAA 使用这些权限代表用户执行操作。

2023 年 4 月 12 日

新指南

更新了有关配置 Amazon Secrets Manager 为 Amazon MWAA 后端的主题,以提供有关使用查找模式的指导。使用查找模式可以收窄 Apache Airflow 搜索的密钥范围,并减少 Amazon MWAA 为检索连接和变量而向 Secrets Manager 调用 API 的次数。这样可以降低与使用 Secrets Manager 作为后端相关的成本。

2023 年 4 月 12 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.5.1。此更新包括有关更新的提供程序包的信息,以及有关在 Amazon MWAA 上使用 Apache Airflow v2.5.1 的详细信息。

2023 年 4 月 11 日

新主题和用例

已添加有关在 Amazon MWAA 环境中使用启动脚本的新主题。本主题介绍了为现有环境配置启动脚本、使用它安装 Linux 运行时以及设置环境变量。

2023 年 4 月 3 日

已更新有关私有 Web 服务器访问权限的章节

已更新以下有关私有 Web 服务器访问权限的主题。该更新澄清说,在具有私有 Web 服务器访问权限的环境中,您必须使用 Python wheel 档案 (.whl) 来打包和安装依赖项。

2023 年 2 月 24 日

已添加有关已弃用的 Apache Airflow 版本的信息

已更新版本主题,提供了有关 Amazon MWAA 如何管理正在弃用的 Apache Airflow 版本的新信息。已删除关于升级到更新版本的 Apache Airflow 的章节,以及介绍 Apache Airflow v1 和 Apache Airflow v2 之间变更的章节。有关迁移到更新版本的 Apache Airflow 的更多信息,请参阅《Amazon MWAA 迁移指南》

2023 年 2 月 17 日

已修复 Amazon MWAA 容器指标中的问题

已更新容器指标主题,并已删除 Cluster 维度中不存在的一组错误指标。已添加一个章节,介绍如何通过绘制 AdditionalWorker 组件的 CPUUtilizationMemoryUtilization 指标并将统计数据类型设置为 Sample Count,来评估环境在给定时间使用的额外工作线程数。

2023 年 1 月 20 日

全新 Apache Airflow 版本

Amazon MWAA 现在支持 Apache Airflow v2.4.3。此更新包括有关更新的提供程序包的信息、有关在 Amazon MWAA 上使用 Apache Airflow v2.4.3 的详细信息,以及有关 Amazon MWAA 上每个 Apache Airflow 版本支持哪些功能的综合信息。

2023 年 1 月 5 日

已更新服务相关角色的主题

更新了有关 Amazon MWAA 用来代表您创建和管理 Amazon 资源的服务相关角色的信息,包括有关在不再需要服务相关角色时如何删除该角色的信息。这包括更新的服务相关角色权限策略,该策略允许 Amazon MWAA 在命名空间中发布其他 CloudWatch 指标。AWS/MWAA

2022 年 11 月 18 日

关于服务指标的新主题

已添加描述 Amazon MWAA 在 AWS/MWAA 命名空间中发出的服务指标的新主题。这些指标包括计划程序、工作线程和 Web 服务器的 Amazon ECS 集群指标、允许 Amazon MWAA 分离计划程序和工作线程的队列的 Amazon SQS 指标,以及元数据数据库的 Amazon RDS 指标。

2022 年 11 月 18 日

新主题

已添加有关修改约束文件的新指南,以指定与 Amazon MWAA 环境配合使用的新版本的提供程序包。

2022 年 11 月 18 日

已更新常见问题解答条目

已更新与 Amazon MWAA 的 HIPAA 资格相关的信息。

2022 年 11 月 15 日

新主题

已添加有关在 Amazon MWAA 执行角色信任策略中使用 aws:SourceArnaws:SourceAccount 全局条件上下文密钥的新主题,以防止跨服务混淆代理。

2022 年 10 月 21 日

新示例代码

添加了更新的说明和 DAG 代码示例,用于将自定义操作系统级指标写入其中。 CloudWatch

2022 年 9 月 13 日

新示例代码

添加了更新的说明和新的 Amazon Lambda Python 代码示例,用于检索 Apache Airflow CLI 令牌,然后在指定的亚马逊 MWAA 环境中调用 DAG。

2022 年 9 月 12 日

新架构图

已添加新架构图,演示了带有公有和私有 Web 服务器的 Amazon MWAA 环境。

2022 年 9 月 12 日

新示例代码

已添加最新说明和新的 DAG 代码示例,用于检索 Apache Airflow CLI 令牌,然后在不同的 Amazon MWAA 环境中调用另一个 DAG。

2022 年 8 月 16 日

新示例代码

已添加最新说明和新的 DAG,用于查询环境的 Aurora PostgreSQL 以获取元数据信息,将结果写入 CSV 文件并将文件存储在 Amazon S3 中。

2022 年 8 月 12 日

新示例代码

添加了更新的说明和新的 DAG,可在运行时刷新 Amazon CodeArtifact 令牌并将结果存储在 Amazon S3 中。

2022 年 8 月 3 日

新示例代码

已添加最新说明和 DAG 代码示例,用于在 Amazon MWAA 中使用 ECSOperator

2022 年 7 月 26 日

新示例代码

已添加最新说明和 DAG 代码示例,用于在 Amazon MWAA 中使用 SSHOperator

2022 年 7 月 15 日

新示例代码

已添加在 Amazon MWAA 中使用 dbt Postgres 的新说明和 DAG 代码示例。

2022 年 6 月 17 日

新主题和用例

已添加新的说明和 DAG 代码示例,以对具有公有和私有访问权限的 Amazon MWAA 环境使用 Python Wheel 文件安装依赖项。

2022 年 5 月 13 日

新主题和用例

添加了有关选择亚马逊 MWAA 向哪些 Apache Airflow 指标发送的新指南。 CloudWatch

2022 年 4 月 19 日

新指南

Amazon MWAA 提供了迁移指南,用于从自管理部署以及现有 Amazon MWAA 环境中迁移 Apache Airflow 工作流程。

2022 年 3 月 7 日

新主题和用例

已添加新安全最佳实践,以与 Apache Airflow 配合使用,包括用于检测 Apache Airflow 用户权限更改的解决方案。

2022 年 2 月 18 日

新示例代码

添加了用于 DAGs 使用 Pendulum 创建时区感知功能的新代码示例,并阐明了如何使用自定义插件更改创建 Apache Airflow 日志的时区。

2022 年 2 月 11 日

Apache Airflow v2.2.2 发布

Amazon Managed Workflows for Apache Airflow 现在支持 Apache Airflow v2.2.2。从 v2.2 开始,Amazon MWAA 将直接在 Apache Airflow Web 服务器上安装 Python 程序包和自定义插件,让您可以更灵活地管理环境。有关更多信息,请参阅以下内容。

2022 年 1 月 27 日

新教程

添加了一个新教程,该教程演示了如何创建新的自定义 Apache Airflow 角色,以及将该角色分配给从 IAM 映射的 Apache Airflow 用户,以限制该用户对指定角色子集的访问权限。 DAGs

2021 年 12 月 8 日

修复

已修复设置 scheduler.min_file_process_interval 的值以优化 CPU 使用率的最佳实践建议。已添加 IAM 策略示例,以在执行角色中授予对 Secrets Manager 资源的访问权限。已添加有关使用 Secrets Manager 条件密钥的故障排除主题。

2021 年 11 月 22 日

新示例代码

添加了以下用于修改使用自定义插件处理的时区的新代码示例, DAGs 以及用于从 bash 运算符中调用 Apache Air dags backfill flow CLI 命令的新疑难解答主题。

2021 年 11 月 1 日

修复

修复了 Amazon ECS 操作员代码示例中的问题,并阐明了 Amazon MWAA 执行角色中允许环境访问日志中的 Amazon ECS 任务日志组所需的额外权限。 CloudWatch

2021 年 10 月 26 日

新示例代码

已添加新的代码示例,用于查询 Aurora PostgreSQL 数据库以获取与 DAG 运行并将结果写入存储在 Amazon S3 上的 CSV 文件相关的信息。

2021 年 10 月 1 日

修复

已更正有关 Amazon MWAA 如何自动将新的和已更改的对象从目标 Amazon S3 存储桶同步到您的计划程序和工作线程的信息。

2021 年 10 月 1 日

现在支持

Amazon MWAA 现在支持 Apache Airflow 2.0+ 的额外提供程序包。要了解有关支持的程序包的更多信息,请参阅以下内容:

2021 年 9 月 24 日

新的命令和程序

添加了其他指导和 Amazon CLI 命令示例,用于在使用无法访问互联网的 Amazon VPC 时创建 Amazon S3 网关终端节点:

2021 年 9 月 24 日

新主题和用例

已添加以下更改:

  • 已添加使用 Amazon 弹性容器服务运算符的新代码示例,请参阅 使用 ECSOperator 连接 Amazon ECS

  • 已在配置 Apache Airflow 插件时出现的问题添加为新的故障排除主题,请参阅 插件

2021 年 9 月 19 日

新增支持区域

Amazon MWAA 现在已在以下区域推出:

  • 亚太地区(孟买):ap-south-1

  • 亚太地区(首尔)– ap-northeast-2

  • 欧洲(伦敦)– eu-west-2

  • 欧洲(巴黎):eu-west-3

  • 加拿大(中部):ca-central-1

  • 南美洲(圣保罗):sa-east-1

有关可用区域和服务端点的更多信息,请参阅如下:

2021 年 8 月 31 日

新主题和用例

已添加以下更改:

  • 已更新示例策略,以允许 Amazon MWAA 提取账户级别的 Amazon S3 设置 (s3:GetAccountPublicAccessBlock),请参阅 Amazon MWAA 执行角色

2021 年 8 月 27 日

修复

已添加以下更改:

2021 年 8 月 27 日

新主题和用例

已添加以下更改:

2021 年 8 月 20 日

新主题和用例

已添加以下更改:

2021 年 8 月 13 日

新示例代码

已添加以下更改:

2021 年 8 月 13 日

修复

已添加以下更改:

2021 年 8 月 13 日

新主题和用例

已添加以下更改:

2021 年 8 月 6 日

新示例代码

已添加以下更改:

2021 年 8 月 6 日

新主题和用例

已添加以下更改:

2021 年 7 月 29 日

修复

已添加以下更改:

2021 年 7 月 29 日

已删除或移动的主题

已添加以下更改:

2021 年 7 月 23 日

新指南

已添加以下更改:

2021 年 7 月 23 日

修复

已添加以下更改:

2021 年 7 月 23 日

新主题和用例

已添加以下更改:

2021 年 7 月 16 日

新主题和用例

已添加以下更改:

2021 年 7 月 9 日

新指南

已添加以下更改:

2021 年 7 月 9 日

新主题和用例

已添加以下更改:

2021 年 7 月 2 日

新示例代码

已添加以下更改:

2021 年 7 月 2 日

新主题和用例

已添加以下更改:

2021 年 6 月 25 日

新示例代码

已添加以下更改:

2021 年 6 月 25 日

新指南

已添加以下更改:

2021 年 6 月 25 日

新主题和用例

已添加以下更改:

2021 年 6 月 18 日

新示例代码

已添加以下更改:

2021 年 6 月 18 日

新主题和用例

已添加以下更改:

2021 年 6 月 2 日

新示例代码

已添加以下更改:

2021 年 6 月 2 日

新指南

已添加以下更改:

  • 已创建有关如何在 Apache Airflow UI 中互换使用连接模板的指南,请参阅 连接类型概述

2021 年 6 月 2 日

修复

已添加以下更改:

  • 在选项三:创建无法访问互联网的 VPC 网络的模板中添加了 Apache Airflow VPC 终端节点。 Amazon CloudFormation 创建 VPC 网络

2021 年 6 月 2 日

Apache Airflow v2.0.2 发布

Apache Airflow v2.0.2 正式版发布

2021 年 5 月 26 日

新主题和用例

已添加以下更改:

2021 年 5 月 14 日

修复

已添加以下更改:

  • 我们已经更新了示例插件代码,以使用最新的 Java 版本,请参阅 使用 Apache Hive 和 Hadoop 创建自定义插件。以前,其版本为 os.environ["JAVA_HOME"]="/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64"

2021 年 5 月 12 日

已删除或移动的主题

已添加以下更改:

2021 年 5 月 10 日

新主题和用例

已添加以下更改:

2021 年 5 月 10 日

已删除或移动的主题

已添加以下更改:

2021 年 5 月 7 日

新主题和用例

已添加以下更改:

2021 年 5 月 7 日

新主题和用例

已添加以下更改:

2021 年 4 月 30 日

新示例代码

已添加以下更改:

2021 年 4 月 30 日

新指南

已添加以下更改:

2021 年 4 月 30 日

修复

已添加以下更改:

2021 年 4 月 30 日

新主题和用例

已添加以下更改:

2021 年 4 月 23 日

新示例代码

已添加以下更改:

2021 年 4 月 23 日

新指南

已添加以下更改:

2021 年 4 月 23 日

新主题和用例

已添加以下更改:

2021 年 4 月 16 日

新示例代码

已添加以下更改:

  • 已添加使用 Oracle 创建自定义插件的示例代码,请参阅 使用 Oracle 创建自定义插件

  • 已添加示例代码,用于创建生成运行时环境变量的自定义插件。

2021 年 4 月 16 日

新主题和用例

已添加以下更改:

2021 年 4 月 9 日

新示例代码

已添加以下更改:

2021 年 4 月 9 日

修复

已添加以下更改:

  • 我们更新了 requirements.txt 的格式,并添加了一个与 Apache Airflow v1.10.12 兼容的示例,请参阅 安装 Python 依赖项

2021 年 3 月 31 日

新主题和用例

已添加以下更改:

2021 年 3 月 26 日

新主题和用例

已添加以下更改:

2021 年 3 月 19 日

新指南

已添加以下更改:

2021 年 3 月 19 日

新主题和用例

已添加以下更改:

2021 年 3 月 12 日

新示例代码

已添加以下更改:

2021 年 3 月 12 日

新指南

已添加以下更改:

2021 年 3 月 12 日

新主题和用例

已添加以下更改:

2021 年 3 月 5 日

现在支持

已添加以下更改:

  • 以前backend_kwargs,不支持,你需要一种变通方法来覆盖 Secrets Manager 函数调用。 Amazon Secrets Manager 现在 支持 backend_kwargs。请参阅中的 Amazon Secrets Manager 疑难解答主题Amazon MWAA 故障排除

2021 年 3 月 4 日

修复

已添加以下更改:

2021 年 3 月 4 日

新主题和用例

已添加以下更改:

2021 年 2 月 26 日

新主题和用例

已添加以下更改:

2021 年 2 月 25 日

新教程

已添加以下更改:

2021 年 2 月 22 日

新主题和用例

已添加以下更改:

2021 年 2 月 22 日

新示例代码

已添加以下更改:

2021 年 2 月 22 日

新的命令和程序

已添加以下更改:

2021 年 2 月 22 日

新示例代码

已添加以下更改:

2021 年 2 月 17 日

新的命令和程序

已添加以下更改:

  • 在 Amazon MWAA 上使用 DAG页面添加了 Amazon CLI 命令。

  • Apache Airflow 不支持在 CLI 命令中进行序列化 DAGs 。由于 CLI 在 Web 服务器上运行,出于安全考虑,该服务器没有插件或要求,因此任何带有 plugins.zip 或 requirements.txt 的 MWAA 环境都不支持这些命令。已将 Apache Airflow list_dagsbackfill 命令移动到不支持的命令,请参阅 访问 Apache Airflow

2021 年 2 月 17 日

GitHub 发射

用户指南文档现已开源 GitHub。在任意页面 GitHub上选择 “编辑此页面”。

2021 年 2 月 17 日

新主题和用例

已添加以下更改:

2021 年 2 月 12 日

新主题和用例

已添加以下更改:

2021 年 2 月 5 日

已删除或移动的主题

已添加以下更改:

2021 年 2 月 4 日

亚马逊 MWAA CloudFormation

更新参数以在 Amazon MW CloudFormation AA 上创建环境。

  • 移除 SubnetList。

  • 移除 TagList。

  • 添加 NetworkConfiguration。

  • 添加 TagMap。

  • 添加创建环境请求示例。

2021 年 2 月 4 日

新主题和用例

已添加以下更改:

2021 年 1 月 29 日

Amazon MWAA 发布

Amazon MWAA 正式版发布。

  • 用户指南文档

  • Amazon CloudFormation 文档

2020 年 11 月 24 日