安装在 Amazon MWAA 环境中的 Apache Airflow 提供程序包 - Amazon Managed Workflows for Apache Airflow
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

安装在 Amazon MWAA 环境中的 Apache Airflow 提供程序包

本页列出了亚马逊 MWAA 为所有支持的 Apache Airflow 环境安装的 Apache Airflow 提供程序包。有关这些软件包的更多信息,请参阅 Apache Airflow 参考资料,了解更多软件包信息。

注意

为了确保与 CloudWatch 日志记录的兼容性不会被其他 Python 库安装所覆盖,Amazon MWAA 在执行后会安装 W atchtower 版本 2.0.1。pip3 install -r requirements.txt

约束文件

从 Apache Airflow v2.7.2 开始,要求文件必须包含一条 --constraint 语句。如果您未提供约束条件,亚马逊 MWAA 将为您指定一个限制,以确保您的要求中列出的软件包与您正在使用的 Apache Airflow 版本兼容。

Apache Airflow 约束文件指定了 Apache Airflow 发布时可用的提供程序版本。但是,在许多情况下,较新的提供程序与该版本的 Apache Airflow 兼容。由于必须使用约束条件,因此要指定提供程序包的较新版本,因此可以修改特定提供程序版本的约束文件:

  1. 例如,从 GitHub https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt 下载特定于版本的约束文件(将 '2.7.2' 替换为要使用的版本)。

  2. 将修改后的约束文件保存到亚马逊 MWAA 环境的 Amazon S3 dags 文件夹,例如,保存为。constraints-3.11-updated.txt

  3. 指定您的要求,如下所示。

    --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number
    注意

    如果您使用的是私有 Web 服务器,我们建议您使用将所需的库打包为 WHL 文件aws-mwaa-docker-images

特定版本的提供程序包

安装提供程序包允许您在 Apache Airflow 用户界面中访问连接类型。这也意味着您无需在 requirements.txt 文件中将这些程序包指定为 Python 依赖项。本页列出了亚马逊 MWAA 为所有支持的 Apache Airflow 环境安装的 Apache Airflow 提供程序包。

注意

对于 Apache Airflow v2 及更高版本,亚马逊 MWAA 在pip3 install -r requirements.txt执行后会安装 Watchtower 版本 2.0.1,以确保与 CloudWatch 日志的兼容性不会被其他 Python 库安装所覆盖。

您可以指定支持的 apache-airflow-providers-amazon 的最新版本来升级此提供程序。

支持的 Apache Airflow 版本:

v3.0.6
v2.10.3
v2.10.1
v2.9.2
v2.8.1
v2.7.2
v2.6.3
v2.5.1
v2.4.3