本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
安装在 Amazon MWAA 环境中的 Apache Airflow 提供程序包
本页列出了亚马逊 MWAA 为所有支持的 Apache Airflow 环境安装的 Apache Airflow 提供程序包。有关这些软件包的更多信息,请参阅 Apache Airflow 参考
注意
为了确保与 CloudWatch 日志记录的兼容性不会被其他 Python 库安装所覆盖,Amazon MWAA 在执行后会安装 W atchtowerpip3 install -r requirements.txt
约束文件
从 Apache Airflow v2.7.2 开始,要求文件必须包含一条 --constraint
语句。如果您未提供约束条件,亚马逊 MWAA 将为您指定一个限制,以确保您的要求中列出的软件包与您正在使用的 Apache Airflow 版本兼容。
Apache Airflow 约束文件指定了 Apache Airflow 发布时可用的提供程序版本。但是,在许多情况下,较新的提供程序与该版本的 Apache Airflow 兼容。由于必须使用约束条件,因此要指定提供程序包的较新版本,因此可以修改特定提供程序版本的约束文件:
-
例如,从 GitHub https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt
下载特定于版本的约束文件(将 '2.7.2' 替换为要使用的版本)。 -
将修改后的约束文件保存到亚马逊 MWAA 环境的 Amazon S3 dags 文件夹,例如,保存为。
constraints-3.11-updated.txt
-
指定您的要求,如下所示。
--constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==
version-number
注意
如果您使用的是私有 Web 服务器,我们建议您使用将所需的库打包为 WHL 文件。aws-mwaa-docker-images
特定版本的提供程序包
安装提供程序包允许您在 Apache Airflow 用户界面中访问连接类型。这也意味着您无需在 requirements.txt
文件中将这些程序包指定为 Python 依赖项。本页列出了亚马逊 MWAA 为所有支持的 Apache Airflow 环境安装的 Apache Airflow 提供程序包。
注意
对于 Apache Airflow v2 及更高版本,亚马逊 MWAA 在pip3 install -r requirements.txt
执行后会安装 Watchtower 版本
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。
支持的 Apache Airflow 版本:
- v3.0.6
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Fab 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
- v2.10.3
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Fab 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
SMTP 连接
- v2.10.1
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Fab 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
SMTP 连接
- v2.9.2
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Fab 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
SMTP 连接
- v2.8.1
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
- v2.7.2
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
- v2.6.3
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
- v2.5.1
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接
- v2.4.3
-
连接类型 程序包 Amazon 连接
Postgres 连接
FTP 连接
Celery 连接
HTTP 连接
IMAP 连接
常见 SQL
SQLite 连接