在 Amazon MWAA 上使用 DAG - Amazon Managed Workflows for Apache Airflow
Amazon S3 存储桶概述
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Amazon MWAA 上使用 DAG

要在 Amazon MWAA 环境中运行有向无环图（DAG），请将文件复制到与环境相连的 Amazon S3 存储桶中，然后让 Amazon MWAA 知道您的 DAG 和支持文件在 Amazon MWAA 控制台上的位置。Amazon MWAA 负责在工作线程、计划程序和 Web 服务器之间同步 DAG。本指南介绍如何在 Amazon MWAA 环境中添加或更新 DAG，以及如何安装自定义插件和 Python 依赖项。

主题

Amazon S3 存储桶概述

适用于 Amazon MWAA 环境的 Amazon S3 存储桶必须已阻止公共访问权限。默认情况下，所有 Amazon S3 资源都是私有的，包括桶、对象和相关子资源（例如，生命周期配置）。

  • 只有资源拥有者，即创建该资源的 Amazon 账户可以访问该资源。资源拥有者（例如管理员）可以写入访问控制策略来授予他人访问权限。

  • 您设置的访问策略必须有权将 DAG、plugins.zip 中的自定义插件和 requirements.txt 中的 Python 依赖项添加到 Amazon S3 存储桶中。有关包含所需权限的策略示例，请参阅 AmazonMWAAFullConsoleAccess。

Amazon MWAA 环境的 Amazon S3 存储桶必须启用版本控制。启用 Amazon S3 存储桶版本控制后，每当创建新版本时，都会创建一个新副本。

  • 在 Amazon S3 存储桶上，为 plugins.zip 中的自定义插件和 requirements.txt 中的 Python 依赖项启用了版本控制。

  • 每次在 Amazon S3 存储桶上更新文件时，都必须在 Amazon MWAA 控制台上指定 plugins.zip 和 requirements.txt 的版本。