View a markdown version of this page

关于在 Amazon MWAA 上联网 - Amazon Managed Workflows for Apache Airflow
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

关于在 Amazon MWAA 上联网

Amazon VPC 是链接到您的虚拟网络 Amazon Web Services 账户。它通过提供对虚拟基础设施和网络流量分段的精细控制,为您提供云安全性和动态扩展的能力。本页介绍支持适用于 Apache Airflow 的亚马逊托管工作流环境所需的具有公共路由、私有路由或公有和私有路由的 Amazon VPC 基础设施。

术语

公有路由

可以访问互联网的 Amazon VPC 网络。

私有路由

无法访问互联网的 Amazon VPC 网络。

支持什么?

下表描述 Amazon MWAA 支持的 Amazon VPC 类型。

Amazon VPC 类型 支持

Amazon VPC 属于尝试创建环境的账户。

一个共享的 Amazon VPC,多个 Amazon Web Services 账户 用户可以在其中创建自己的 Amazon 资源。

VPC 基础设施概述

当您创建 Amazon MWAA 环境时,Amazon MWAA 会根据您为环境选择的 Apache Airflow 访问模式为环境创建一到两个 VPC 端点。这些端点显示为弹性网络接口 (ENI),私有 IP 位于 Amazon VPC 中。创建这些端点后,任何发往这些 IP 的流量都将私密或公开路由到您的环境使用的相应 Amazon 服务。

以下部分介绍通过互联网公共地路由流量或在 Amazon VPC 内私密地路由流量所需的 Amazon VPC 基础设施。

通过互联网进行公共路由

本节介绍具有公有路由的环境的 Amazon VPC 基础设施。您需要以下 VPC 基础设施:

  • 一个 VPC 安全组 VPC 安全组 充当虚拟防火墙,以控制实例上的入口(入站)和出口(出站)流量。

  • 两个公有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个公有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 子网必须路由到具有弹性 IP 地址(EIP)的 NAT 网关(或 NAT 实例)。

    • 子网必须具有将面向互联网的流量定向到互联网网关的路由表。

  • 两个私有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个私有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 这些子网必须有通往 NAT 设备(网关或实例)的路由表。

    • 这些子网不得路由到互联网网关。

    • 对于 IPv6 子网,设置为 assignIpV6AddressOnCreationtrue

    • 对于 IPv6 私有子网,必须连接到仅出口互联网网关 (EIGW)。

  • 网络访问控制列表(ACL) NACL 管理(通过允许或拒绝规则)子网级别的入站和出站流量。

    • NACL 必须有允许所有流量的入站规则(0.0.0.0/0;对于 IPv6,使用 ::/0)。

    • NACL 必须有允许所有流量的出站规则(0.0.0.0/0;对于 IPv6,使用 ::/0)。

    • 例如 (推荐)示例 ACLs

  • 两个 NAT 网关(或 NAT 实例)。NAT 设备将流量从私有子网中的实例转发到 Internet 或其他 Amazon 服务,然后将响应路由回实例。

    • NAT 设备必须连接公有子网。(每个公有子网一个 NAT 设备。)

    • NAT 设备必须将弹性 IPv4 地址(EIP)附加到每个公有子网。

  • 互联网网关。互联网网关将 Amazon VPC 连接到互联网和其他 Amazon 服务。

    • 互联网网关必须连接到 Amazon VPC。

无法访问互联网的私有路由

本节介绍具有私有路由的环境的 Amazon VPC 基础设施。您需要以下 VPC 基础设施:

  • 一个 VPC 安全组 VPC 安全组 充当虚拟防火墙,以控制实例上的入口(入站)和出口(出站)流量。

  • 两个私有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个私有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 这些子网必须有通往 VPC 端点的路由表。

    • 子网必须具有指向 EIGW 的路由表,才能作为 DAG 的一部分从互联网下载。

    • 这些子网不得有通往 NAT 设备(网关或实例)的路由表,也不能有互联网网关。

  • 网络访问控制列表(ACL) NACL 管理(通过允许或拒绝规则)子网级别的入站和出站流量。

    • NACL 必须有允许所有流量的入站规则(0.0.0.0/0;对于 IPv6,使用 ::/0)。

    • NACL 必须有拒绝所有流量的出站规则(0.0.0.0/0;对于 IPv6,使用 ::/0)。

    • 例如 (推荐)示例 ACLs

  • 本地路由表。本地路由表是指用于 VPC 内通信的默认路由。

    • 本地路由表必须与私有子网关联。

    • 本地路由表必须启用 VPC 中的实例与您自己的网络进行通信。例如,如果您使用访问您的 Apache Airflow 网络服务器的 VPC 接口终端节点,则路由表必须路由到 VPC 终端节点。 Amazon Client VPN

  • 您的环境使用的每项 Amazon 服务的 VPC 终端节点,Apache Airflow VPC 终端节点与您的亚马逊 MWAA 环境位于相同且 Amazon Web Services 区域 亚马逊 VPC 中。

Amazon VPC 和 Apache Airflow 访问模式的示例用例

本部分介绍 Amazon VPC 中网络访问的不同使用案例,以及在 Amazon MWAA 控制台上选择的 Apache Airflow Web 服务器访问模式。

允许访问互联网-新的 Amazon VPC 网络

如果贵组织允许在 VPC 中访问互联网,并且您希望用户通过互联网访问 Apache Airflow Web 服务器,请执行以下操作:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 为 Apache Airflow Web 服务器创建具有公有网络访问模式的环境。

  3. 我们的建议:我们建议使用 Amazon CloudFormation 快速入门模板来同时创建 Amazon VPC 基础设施、Amazon S3 存储桶和 Amazon MWAA 环境。要了解更多信息,请参阅 Amazon MWAA 的快速入门教程

如果贵组织允许在 VPC 中访问互联网,并且您希望将 Apache Airflow Web 服务器访问权限限于 VPC 内的用户,请执行以下操作:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 创建一种机制,用于从计算机访问 Apache Airflow Web 服务器的 VPC 接口端点。

  3. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  4. 我们的建议

    1. 我们建议使用中的 Amazon MWAA 控制台或中的选项一:在 Amazon MWAA 控制台上创建 VPC 网络 Amazon CloudFormation 模板。选项二:创建可访问互联网的 Amazon VPC 网络

    2. 我们建议在中使用配置 Amazon Client VPN 对您的 Apache Airflow 网络服务器的访问权限。教程:使用配置私有网络访问权限 Amazon Client VPN

不允许访问互联网-新的 Amazon VPC 网络

如果您的组织不允许在您的 VPC 中访问互联网,并且您希望 Apache Airflow 网络服务器仍可通过互联网访问:

  1. 创建没有互联网访问权限的 Amazon VPC 网络。

  2. 为您的 Apache Airflow 网络服务器创建一个同时使用公共网络和私有网络访问模式的环境。此选项适用于 Apache Airflow 版本 3.2.1 及更高版本。

  3. 我们的建议:我们建议使用该 Amazon CloudFormation 模板创建没有互联网访问权限的 Amazon VPC,并为 Amazon MWAA 在中使用的每项 Amazon 服务创建 VPC 终端节点。选项三:创建不可访问互联网的 Amazon VPC 网络

如果您的组织不允许在您的 VPC 中访问互联网,并且您想将 Apache Airflow 网络服务器限制为仅允许您的 VPC 内的用户访问:

  1. 创建没有互联网访问权限的 Amazon VPC 网络。

  2. 创建一种机制,用于从计算机访问 Apache Airflow Web 服务器的 VPC 接口端点。

  3. 为您的环境使用的每项 Amazon 服务创建 VPC 终端节点。

  4. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  5. 我们的建议

    1. 我们建议使用该 Amazon CloudFormation 模板创建没有互联网访问权限的 Amazon VPC,并为 Amazon MWAA 在中使用的每项 Amazon 服务创建 VPC 终端节点。选项三:创建不可访问互联网的 Amazon VPC 网络

    2. 我们建议在中使用配置 Amazon Client VPN 对您的 Apache Airflow 网络服务器的访问权限。教程:使用配置私有网络访问权限 Amazon Client VPN

不允许访问互联网-现有 Amazon VPC 网络

如果贵组织不允许在 VPC 中访问互联网,并且您已经拥有所需的无法访问互联网的 Amazon VPC 网络:

  1. 为您的环境使用的每项 Amazon 服务创建 VPC 终端节点。

  2. 为 Apache Airflow 创建 VPC 端点。

  3. 创建一种机制,用于从计算机访问 Apache Airflow Web 服务器的 VPC 接口端点。

  4. 为 Apache Airflow Web 服务器创建具有私有网络访问模式的环境。

  5. 我们的建议

    1. 我们建议创建并连接亚马逊 MWAA 使用的每项 Amazon 服务所需的 VPC 终端节点,以及 Apache Airflow 所需的 VPC 终端节点。使用私有路由在 Amazon VPC 中创建所需的 VPC 服务端点

    2. 我们建议在中使用配置 Amazon Client VPN 对您的 Apache Airflow 网络服务器的访问权限。教程:使用配置私有网络访问权限 Amazon Client VPN