DAGs 在 Amazon 上使用 MWAA - Amazon Managed Workflows for Apache Airflow
Amazon S3 存储桶概述
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

DAGs 在 Amazon 上使用 MWAA

要在适用于 Apache Airflow 的亚马逊托管工作流程环境中运行定向无环图 (DAGs)，请将文件复制到与环境关联的 Amazon S3 存储桶中，然后让 Amazon MWAA 知道您的文件和支持文件在 DAGs 亚马逊 MWAA 控制台上的位置。Amazon MWAA 负责 DAGs 在工作程序、计划程序和 Web 服务器之间进行同步。本指南介绍如何在 Amazon MWAA 环境中添加或更新您的自定义插件 DAGs 和 Python 依赖项，以及如何安装自定义插件和 Python 依赖项。

主题

Amazon S3 存储桶概述

适用于 Amazon MWAA 环境的 Amazon S3 存储桶必须已阻止公共访问权限。默认情况下，所有 Amazon S3 资源都是私有的，包括桶、对象和相关子资源（例如，生命周期配置）。

  • 只有创建存储桶 Amazon Web Services 账户 的资源所有者才能访问该资源。资源拥有者（例如管理员）可以写入访问控制策略来授予他人访问权限。

  • 您设置的访问策略必须具有向您的 Amazon S3 存储桶中plugins.zip添加 DAGs自定义插件和 Python 依赖项的权限。requirements.txt有关包含所需权限的策略示例，请参阅 Amazon MWAAFull ConsoleAccess。

Amazon MWAA 环境的 Amazon S3 存储桶必须启用版本控制。启用 Amazon S3 存储桶版本控制后，每当创建新版本时，都会创建一个新副本。

  • 在 Amazon S3 存储桶上，为 plugins.zip 中的自定义插件和 requirements.txt 中的 Python 依赖项启用了版本控制。

  • 每次在 Amazon S3 存储桶上更新文件时，都必须在 Amazon MWAA 控制台上指定 plugins.zip 和 requirements.txt 的版本。