在 Amazon EMR 中配置 Flink

在新控制台中创建包含 Flink 和 Java 11 运行时系统的集群

1. 登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台，网址为 https://console.aws.amazon.com/emr。

2. 在导航窗格中的 EC2 上的 EMR 下，选择集群，然后选择创建集群。

3. 选择 Amazon EMR 6.12.0 或更高版本，然后选择安装 Flink 应用程序。选择要在集群上安装的任何其他应用程序。

4. 继续设置您的集群。在可选的软件设置部分，使用默认的输入配置选项，并输入以下配置：

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

5. 继续设置并启动您的集群。

从 CLI 创建包含 Flink 和 Java 11 运行时系统的集群

1. 创建一个将 Flink 配置为使用 Java 11 的配置文件 configurations.json。

   [
       {
         "Classification": "flink-conf",
         "Properties": {
           "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
           "env.java.home":"/usr/lib/jvm/jre-11"
         }
       }
   ]

2. 从 Amazon CLI 中，使用 Amazon EMR 6.12.0 或更高版本创建新 EMR 集群，然后安装 Flink 应用程序，如以下示例所示：

   aws emr create-cluster --release-label emr-6.12.0 \ 
   --applications Name=Flink \ 
   --configurations file://./configurations.json \ 
   --region us-east-1 \ 
   --log-uri s3://myLogUri \ 
   --instance-type m5.xlarge \ 
   --instance-count 2 \ 
   --service-role EMR_DefaultRole_V2 \ 
   --ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole
   

在新控制台中更新包含 Flink 和 Java 11 运行时系统的正在运行的集群

1. 登录 Amazon Web Services Management Console 并打开 Amazon EMR 控制台，网址为 https://console.aws.amazon.com/emr。

2. 在导航窗格中的 EC2 上的 EMR 下，选择集群，然后选择要更新的集群。

   注意

   集群必须使用 Amazon EMR 6.12.0 或更高版本才能支持 Java 11。

3. 选择配置选项卡。

4. 在实例组配置部分，选择要更新的正在运行的实例组，然后从列表操作菜单中选择重新配置。

5. 使用编辑属性选项重新配置实例组，如下所示。在每个配置之后选择添加新配置。

   分类	属性	Value
   flink-conf	containerized.taskmanager.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	containerized.master.env.JAVA_HOME	/usr/lib/jvm/jre-11
   flink-conf	env.java.home	/usr/lib/jvm/jre-11

6. 选择保存更改以添加配置。

从 CLI 中更新正在运行的集群，以使用 Flink 和 Java 11 运行时系统

使用 modify-instance-groups 命令为运行的集群中的一个实例组指定新配置。

1. 首先，创建一个将 Flink 配置为使用 Java 11 的配置文件 configurations.json。在以下示例中，将 ig-1xxxxxxx9 替换为您要重新配置的实例组的 ID。将文件保存在您将要运行 modify-instance-groups 命令的同一目录中。

   [
      {
         "InstanceGroupId":"ig-1xxxxxxx9",
         "Configurations":[
            {
               "Classification":"flink-conf",
               "Properties":{
                 "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
                 "env.java.home":"/usr/lib/jvm/jre-11"
               },
               "Configurations":[]
            }
         ]
      }
   ]

2. 从 Amazon CLI 运行以下命令。替换您要重新配置的实例组的 ID：

   aws emr modify-instance-groups --cluster-id j-2AL4XXXXXX5T9 \
   --instance-groups file://configurations.json