AWS 本地扩展区 上的 EMR 集群 - Amazon EMR
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

AWS 本地扩展区 上的 EMR 集群

从 Amazon EMR 版本 5.28.0 开始,您可以在 AWS 本地扩展区 子网上创建和运行 Amazon EMR 集群,作为支持本地区域的 AWS 区域的逻辑扩展。本地区域使得 Amazon EMR 功能和 AWS 服务的子集(如计算和存储服务)在位置上与用户更近,以便对本地运行的应用程序提供非常低的延迟访问。有关可用本地区域的列表,请参阅 AWS 本地扩展区。有关访问可用 AWS 本地扩展区 的信息,请参阅区域、可用区和本地扩展区

支持的实例类型

以下实例类型可用于本地区域上的 Amazon EMR 集群。实例类型可用性可能因区域而异。

实例类 实例类型
通用型 m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
计算优化 c5.xlarge | c5.2xlarge | c5.4xlarge | c5.9xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge| c5d.9xlarge | c5d.18xlarge
内存优化 r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge
存储优化 i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

在本地区域上创建 Amazon EMR 集群

通过将 Amazon EMR 集群启动到与本地区域关联的 Amazon VPC 子网中来在 AWS 本地扩展区 上创建 Amazon EMR 集群。您可以使用本地区域名称(例如美国西部(俄勒冈)控制台中的 us-west-2-lax-1a)访问集群。

本地扩展区目前不支持 Amazon EMR 笔记本,也不支持使用接口 VPC 终端节点 (AWS PrivateLink) 直接连接到 Amazon EMR。

使用 Amazon EMR 控制台在本地区域上创建 EMR 集群

要在本地区域上使用 AWS 管理控制台创建新的 Amazon EMR 集群,请指定与您的本地区域关联的 Amazon EC2 子网。

  1. 打开 Amazon EMR 控制台

  2. 选择 Create cluster

  3. 选择 Go to advanced options (转到高级选项)

  4. Software Configuration (软件配置) 下,对于 Release (版本),选择 5.28.0 或更高版本。

  5. Hardware Configuration (硬件配置) 下,对于 EC2 Subnet (EC2 子网),选择具有以下格式的本地区域 ID 的 EC2 子网:子网 123abc | us-west-2-lax-1a。

  6. 为统一的实例组或实例队列添加 Amazon EBS 存储卷,然后选择实例类型。

使用 AWS CLI 在本地区域上创建 Amazon EMR 集群

将 create-cluster 命令与本地区域的 SubnetId 一起使用,如以下示例所示。用本地区域 SubnetId 替换 subnet-22XXXX1234567 并根据需要替换其他选项。有关更多信息,请参阅https://docs.amazonaws.cn/cli/latest/reference/emr/create-cluster.html

aws emr create-cluster \ --name "Local Zones cluster" \ --release-label emr-5.29.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey,SubnetId=subnet-22XXXX1234567 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles