Amazon Local Zones 上的 EMR 集群 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Local Zones 上的 EMR 集群

从 Amazon EMR 版本 5.28.0 开始,您可以在 Amazon Local Zones 子网上创建和运行 Amazon EMR 集群,作为支持 Local Zones 的Amazon区域的逻辑扩展。本地区域使得 Amazon EMR 功能和Amazon服务的子集(如计算和存储服务)在位置上与用户更近,从而为本地运行的应用程序提供非常低的延迟访问。有关可用的 Local Zones 列表,请参阅 Amazon Local Zones。有关访问可用Amazon Local Zones 的信息,请参阅区域、可用区和 Local Zones

支持的实例类型

下列实例类型可用于 Local Zones 的 Amazon EMR 集群。实例类型可用性可能因区域而异。

实例类 实例类型
通用型 m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
计算优化 c5.xlarge | c5.2xlarge | c5.4xlarge | c5.9xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge| c5d.9xlarge | c5d.18xlarge
内存优化 r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge
存储优化 i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

在 Local Zones 上创建 Amazon EMR 集群

通过以下方法在 Amazon Local Zones 中创建 Amazon EMR 集群:将 Amazon EMR 集群启动到与本地区域关联的 Amazon VPC 子网中。您可以使用美国西部(俄勒冈)控制台中的 Local Zones 名称(如 us-west-2-lax-1a)访问集群。

Local Zones 目前不支持 Amazon EMR Notebooks,也不支持使用接口 VPC 端点(Amazon PrivateLink)直接连接到 Amazon EMR。

注意

我们重新设计了 Amazon EMR 控制台,以便其易于使用。请参阅 控制台中的新增功能,以了解有关新旧控制台体验差异的信息。

New console
使用新控制台在本地区域创建集群
  1. 登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台,网址为 https://console.aws.amazon.com/emr

  2. 在左侧导航窗格中的 EMR on EC2 下,选择 Clusters(集群),然后选择 Create cluster(创建集群)。

  3. Networking(网络)下,选择一个 EC2 子网,其具有以下格式的 Local Zone ID:subnet 123abc | us-west-2-lax-1a。

  4. 为统一的实例组或实例集选择实例类型或添加 Amazon EBS 存储卷。

  5. 选择适用于集群的任何其他选项。

  6. 要启动集群,选择 Create cluster(创建集群)。

Old console
使用旧控制台在本地区域创建集群
  1. 导航到 Amazon EMR 新控制台,然后从侧面导航栏中选择切换到旧控制台。有关切换到旧控制台后预期情况的更多信息,请参阅 Using the old console

  2. 选择创建集群

  3. 选择 Go to advanced options (转到高级选项)

  4. Software Configuration (软件配置) 下,对于 Release (版本),选择 5.28.0 或更高版本。

  5. Hardware Configuration (硬件配置) 下,对于 EC2 Subnet (EC2 子网),选择具有以下格式的 Local Zones ID 的 EC2 子网:subnet 123abc | us-west-2-lax-1a。

  6. 为统一的实例组或实例集添加 Amazon EBS 存储卷并选择实例类型。

CLI
使用 Amazon CLI 在本地区域创建集群
  • 使用 create-cluster 命令以及 Local Zones 的 SubnetId,如以下示例中所示。将 subnet-22XXXX1234567 替换为本地区域 SubnetId,并根据需要替换其它选项。有关更多信息,请参阅https://docs.amazonaws.cn/cli/latest/reference/emr/create-cluster.html

    aws emr create-cluster \ --name "Local Zones cluster" \ --release-label emr-5.29.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey,SubnetId=subnet-22XXXX1234567 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles