关于在 Amazon MWAA 上联网 - Amazon Managed Workflows for Apache Airflow
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

关于在 Amazon MWAA 上联网

Amazon VPC 是链接到您的虚拟网络 Amazon Web Services 账户。它通过提供对虚拟基础设施和网络流量分段的精细控制,为您提供云安全性和动态扩展的能力。本页介绍了支持适用于 Apache Airflow 的亚马逊托管工作流环境所需的具有公共路由或私有路由的 Amazon VPC 基础设施。

术语

公有路由

可以访问互联网的 Amazon VPC 网络。

私有路由

无法访问互联网的 Amazon VPC 网络。

支持什么?

下表描述了亚马逊 MWAA VPCs 支持的亚马逊类型。

Amazon VPC 类型 支持

Amazon VPC 属于尝试创建环境的账户。

一个共享的 Amazon VPC,多个 Amazon Web Services 账户 用户可以在其中创建自己的 Amazon 资源。

VPC 基础设施概述

当您创建 Amazon MWAA 环境时,Amazon MWAA 会根据您为环境选择的 Apache Airflow 访问模式为环境创建一到两个 VPC 端点。这些终端节点显示为弹性网络接口 (ENIs), IPs 在您的 Amazon VPC 中具有私有功能。创建这些终端节点后,任何发往这些 IPs 终端节点的流量都将私下或公开路由到您的环境使用的相应 Amazon 服务。

以下部分介绍通过互联网公开路由流量或在您的 Amazon VPC 内私下路由流量所需的 Amazon VPC 基础设施。

通过互联网进行公共路由

本节介绍具有公有路由的环境的 Amazon VPC 基础设施。您需要以下 VPC 基础设施:

  • 一个 VPC 安全组 VPC 安全组 充当虚拟防火墙,以控制实例上的入口(入站)和出口(出站)流量。

  • 两个公有子网。公有子网是指与包含指向互联网网关的路由的路由表关联的子网。

    • 需要两个公有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 子网必须路由到具有弹性 IP 地址(EIP)的 NAT 网关(或 NAT 实例)。

    • 子网必须有一个路由表,用于将互联网流量定向到互联网网关。

  • 两个私有子网。私有子网是指与具有通往 Internet 网关的路由的路由表关的子网。

    • 需要两个私有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 这些子网必须有通往 NAT 设备(网关或实例)的路由表。

    • 子网不得路由到互联网网关。

    • true对于 IPv6 子网assignIpV6AddressOnCreation,设置为。

    • 对于 IPv6 私有子网,您必须连接到仅限出口的互联网网关 (EIGW)。

  • 网络访问控制列表(ACL) NACL 管理(通过允许或拒绝规则)子网级别的入站和出站流量。

    • NACL 必须有允许所有流量的入站规则(0.0.0.0/0; for IPv6,使用::/0)。

    • NACL 必须有允许所有流量的出站规则(0.0.0.0/0; for IPv6,使用::/0)。

    • 例如 (推荐)示例 ACLs

  • 两个 NAT 网关(或 NAT 实例)。NAT 设备将流量从私有子网中的实例转发到 Internet 或其他 Amazon 服务,然后将响应路由回实例。

    • NAT 设备必须连接公有子网。(每个公有子网一个 NAT 设备。)

    • NAT 设备必须将弹性 IPv4 地址 (EIP) 连接到每个公有子网。

  • 互联网网关。互联网网关将 Amazon VPC 连接到互联网和其他 Amazon 服务。

    • 必须将互联网网关连接到 Amazon VPC。

无法访问互联网的私有路由

本节介绍具有私有路由的环境的 Amazon VPC 基础设施。您需要以下 VPC 基础设施:

  • 一个 VPC 安全组 VPC 安全组 充当虚拟防火墙,以控制实例上的入口(入站)和出口(出站)流量。

  • 两个私有子网。私有子网是指与具有通往 Internet 网关的路由的路由表关的子网。

    • 需要两个私有子网。这样,如果一个容器出现故障,Amazon MWAA 就可以为另一个可用区中的环境构建新的容器镜像。

    • 这些子网必须位于不同的可用区中。例如 us-east-1aus-east-1b

    • 这些子网必须有通往 VPC 端点的路由表。

    • 子网必须有到 EIGW 的路由表,才能作为 DAG 的一部分从互联网下载。

    • 子网不得有通往 NAT 设备(网关或实例)的路由表,也不能有 Internet 网关。

  • 网络访问控制列表(ACL) NACL 管理(通过允许或拒绝规则)子网级别的入站和出站流量。

    • NACL 必须有允许所有流量的入站规则(0.0.0.0/0; for IPv6,使用::/0)。

    • NACL 必须有拒绝所有流量的出站规则(0.0.0.0/0; for IPv6,使用::/0)。

    • 例如 (推荐)示例 ACLs

  • 本地路由表。本地路由表是指用于 VPC 内通信的默认路由。

    • 本地路由表必须与私有子网关联。

    • 本地路由表必须启用 VPC 中的实例与您自己的网络进行通信。例如,如果您使用访问您的 Apache Airflow 网络服务器的 VPC 接口终端节点,则路由表必须路由到 VPC 终端节点。 Amazon Client VPN

  • 您的环境使用的每项 Amazon 服务的 VPC 终端节点,Apache Airflow VPC 终端节点与您的亚马逊 MWAA 环境位于相同且 Amazon Web Services 区域 亚马逊 VPC 中。

Amazon VPC 和 Apache Airflow 访问模式的示例用例

本节介绍在您的亚马逊 VPC 中进行网络访问的不同用例,以及在亚马逊 MWAA 控制台上选择的 Apache Airflow 网络服务器访问模式。

允许访问互联网-新的 Amazon VPC 网络

如果您的组织允许在您的 VPC 中访问互联网,并且您希望用户通过互联网访问您的 Apache Airflow 网络服务器:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 为您的 Apache Airflow 网络服务器创建具有公共网络访问模式的环境。

  3. 我们的建议:我们建议使用 Amazon CloudFormation 快速入门模板来同时创建 Amazon VPC 基础设施、Amazon S3 存储桶和 Amazon MWAA 环境。要了解更多信息,请参阅Amazon MWAA 的快速入门教程

如果您的组织允许在您的 VPC 中访问互联网,并且您想限制 Apache Airflow 网络服务器只能访问您的 VPC 内的用户:

  1. 创建可访问互联网的 Amazon VPC 网络。

  2. 创建一种机制,用于从您的计算机访问 Apache Airflow 网络服务器的 VPC 接口终端节点。

  3. 为您的 Apache Airflow 网络服务器创建具有专用网络访问模式的环境。

  4. 我们的建议

    1. 我们建议使用中的 Amazon MWAA 控制台或中的选项一:在 Amazon MWAA 控制台上创建 VPC 网络 Amazon CloudFormation 模板。选项二:创建可访问互联网的 Amazon VPC 网络

    2. 我们建议在中使用配置 Amazon Client VPN 对您的 Apache Airflow 网络服务器的访问权限。教程:使用配置私有网络访问权限 Amazon Client VPN

不允许访问互联网-新的 Amazon VPC 网络

如果您的组织不允许在您的 VPC 中访问互联网:

  1. 创建没有互联网访问权限的 Amazon VPC 网络。

  2. 创建一种机制,用于从您的计算机访问 Apache Airflow 网络服务器的 VPC 接口终端节点。

  3. 为您的环境使用的每项 Amazon 服务创建 VPC 终端节点。

  4. 为您的 Apache Airflow 网络服务器创建具有专用网络访问模式的环境。

  5. 我们的建议

    1. 我们建议使用该 Amazon CloudFormation 模板创建没有互联网访问权限的 Amazon VPC,并为 Amazon MWAA 在中使用的每项 Amazon 服务创建 VPC 终端节点。选项三:创建不允许互联网访问的 Amazon VPC 网络

    2. 我们建议在中使用配置 Amazon Client VPN 对您的 Apache Airflow 网络服务器的访问权限。教程:使用配置私有网络访问权限 Amazon Client VPN

不允许访问互联网-现有 Amazon VPC 网络

如果您的组织不允许在您的 VPC 中访问互联网,并且您已经拥有所需的 Amazon VPC 网络且无法访问互联网:

  1. 为您的环境使用的每项 Amazon 服务创建 VPC 终端节点。

  2. 为 Apache Airflow 创建 VPC 端点。

  3. 创建一种机制,用于从您的计算机访问 Apache Airflow 网络服务器的 VPC 接口终端节点。

  4. 为您的 Apache Airflow 网络服务器创建具有专用网络访问模式的环境。

  5. 我们的建议

    1. 我们建议创建并连接亚马逊 MWAA 使用的每项 Amazon 服务所需的 VPC 终端节点,以及 Apache Airflow 所需的 VPC 终端节点。使用私有路由在 Amazon VPC 中创建所需的 VPC 服务端点

    2. 我们建议在中使用配置 Amazon Client VPN 对您的 Apache Airflow 网络服务器的访问权限。教程:使用配置私有网络访问权限 Amazon Client VPN