登录控制台
Amazon EMR
Amazon EMR 版本指南
AWS 文档 » Documentation Amazon EMR » Amazon EMR 版本指南 » Apache Flink » 配置 Flink
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 AWS 服务入门。

配置 Flink

建议您使用配置文件配置 Flink。例如，Flink 的主配置文件的名称为 flink-conf.yaml。可以使用 Amazon EMR 配置 API 对其进行配置。

使用 AWS CLI 配置用于 Flink 的任务槽的数目

  1. 创建文件 configuration.json 并输入以下内容： 

    [
    {
      "Classification": "flink-conf",
      "Properties": {
        "taskmanager.numberOfTaskSlots":"2"
      }
    }
]

  2. 接下来，使用以下配置创建集群：

    aws emr create-cluster --release-label emr-5.23.0 \
--applications Name=Flink \
--configurations file://./configurations.json \
--region us-east-1 \
--log-uri s3://myLogUri \
--instance-type m4.large \
--instance-count 2 \
--service-role EMR_DefaultRole \ 
--ec2-attributes KeyName=YourKeyName,InstanceProfile=EMR_EC2_DefaultRole

注意

也可以使用 Flink API 更改某些配置。有关更多信息，请参阅 Flink 文档中的基本 API 概念。

使用 Amazon EMR 版本 5.21.0 以及更高版本，您可以覆盖集群配置，并为运行的集群中的每个实例组指定更多配置分类。您可以使用 Amazon EMR 控制台、AWS Command Line Interface (AWS CLI) 或 AWS 开发工具包来实现此操作。有关更多信息，请参阅为正在运行的实例中的实例组提供配置。

作为应用程序所有者，您最了解应将哪些资源分配给 Flink 中的任务。在本文档的示例中，使用与用于应用程序的从属实例的数目相同的任务。通常，我们建议对初始并行级别执行此操作，但您也可以使用任务槽来增加并行粒度，它一般不应超过每实例虚拟核心数。有关 Flink 架构的更多信息，请参阅 Flink 文档中的概念。

目前，可在 Amazon EMR 配置 API 中配置的文件包括：

  • flink-conf.yaml

  • log4j.properties

  • log4j-yarn-session.properties

  • log4j-cli.properties