Amazon EMR

Amazon EMR 版本指南

AWS 文档 » Documentation Amazon EMR » Amazon EMR 版本指南 » Apache Flink » 配置 Flink

配置 Flink

建议您使用配置文件配置 Flink。例如，Flink 的主配置文件的名称为 flink-conf.yaml。可以使用 Amazon EMR 配置 API 对其进行配置。

使用 AWS CLI 配置用于 Flink 的任务槽的数目

1. 创建文件 configuration.json 并输入以下内容：

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "taskmanager.numberOfTaskSlots":"2"
         }
       }
   ]

2. 接下来，使用以下配置创建集群：

   aws emr create-cluster --release-label emr-5.27.0 \
   --applications Name=Flink \
   --configurations file://./configurations.json \
   --region us-east-1 \
   --log-uri s3://myLogUri \
   --instance-type m5.xlarge \
   --instance-count 2 \
   --service-role EMR_DefaultRole \ 
   --ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole

并行选项

作为应用程序所有者，您最了解应将哪些资源分配给 Flink 中的任务。在本文档的示例中，使用与用于应用程序的从属实例的数目相同的任务。通常，我们建议对初始并行级别执行此操作，但您也可以使用任务槽来增加并行粒度，它一般不应超过每实例虚拟核心数。有关 Flink 架构的更多信息，请参阅 Flink 文档中的概念。

可配置的文件

目前，可在 Amazon EMR 配置 API 中配置的文件包括：

在包括多个主节点的 EMR 集群中配置 Flink。

在 具有多个主节点的 EMR 集群 中进行主节点故障转移的过程中，Flink 的 JobManager 仍然可用。但是，JobManager 是一个单点故障。当 JobManager 失败时，它会失去所有作业状态，并且不会恢复正在运行的作业。通过配置应用程序尝试计数、开展检查点检验并启用 ZooKeeper 作为 Flink 的状态存储，您可以启用 JobManager 高可用性，如以下示例所示：

[
  {
    "Classification": "yarn-site",
    "Properties": {
      "yarn.resourcemanager.am.max-attempts": "10"
    }
  },
  {
    "Classification": "flink-conf",
    "Properties": {
        "yarn.application-attempts": "10",
        "high-availability": "zookeeper",
        "high-availability.zookeeper.quorum": "%{hiera('hadoop::zk')}",
        "high-availability.storageDir": "hdfs:///user/flink/recovery",
        "high-availability.zookeeper.path.root": "/flink"
    }
  }
]

您必须同时为 YARN 和 Flink 配置最大的应用程序主尝试次数。有关更多信息，请参阅 YARN 集群高可用性的配置。您可能还需要配置 Flink 检查点，以使重新启动的 JobManager 从先前完成的检查点恢复正在运行的作业。有关更多信息，请参阅开展 Flink 检查点检验。

本页内容：

• 并行选项
• 可配置的文件
• 在包括多个主节点的 EMR 集群中配置 Flink。