使用 PyFlink - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 PyFlink

EKS 上的 Amazon EMR 版本 6.15.0 及更高版本支持。 PyFlink如果您已经有 PyFlink 脚本，则可以执行以下操作之一：

  • 创建包含 PyFlink 脚本的自定义镜像。

  • 将您的脚本上传到 Amazon S3 地点

如果您还没有脚本，则可以使用以下示例启动作 PyFlink 业。此示例从 S3 检索脚本。如果您使用的是自定义映像，并且您的脚本已包含在图像中，则必须将脚本路径更新为脚本的存储位置。如果脚本位于 S3 位置，EKS 上的 Amazon EMR 将检索该脚本并将其放在 Flink 容器中的/opt/flink/usrlib/目录下。

apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
  name: python-example
spec:
  flinkVersion: v1_17
  flinkConfiguration:
    taskmanager.numberOfTaskSlots: "1"
  executionRoleArn: job-execution-role
  emrReleaseLabel: "emr-6.15.0-flink-latest"
  jobManager:
    highAvailabilityEnabled: false
    replicas: 1
    resource:
      memory: "2048m"
      cpu: 1
  taskManager:
    resource:
      memory: "2048m"
      cpu: 1
  job:
    jarURI: s3://S3 bucket with your script/pyflink-script.py
    entryClass: "org.apache.flink.client.python.PythonDriver"
    args: ["-py", "/opt/flink/usrlib/pyflink-script.py"] 
    parallelism: 1
    upgradeMode: stateless