Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。
Amazon Managed Service for Apache Flink 入门(DataStream API)
本节向您介绍 Managed Service for Apache Flink 的基本概念以及使用 DataStream API 在 Java 中实施应用程序。它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。
主题
审核 Managed Service for Apache Flink 应用程序组件
注意
Amazon Managed Service for Apache Flink 支持所有 Apache Flink API,并且潜在支持所有 JVM 语言。有关更多信息,请参阅 Flink 的 API
根据您选择的 API,应用程序的结构和实施会略有不同。本入门教程介绍在 Java 中使用 DataStream API 实施应用程序。
为处理数据,Managed Service for Apache Flink 应用程序使用 Java 应用程序,其使用 Apache Flink 运行时系统处理输入和生成输出。
典型的 Managed Service for Apache Flink 应用程序包含以下组件:
-
运行时属性:您可以使用运行时属性将配置参数传递给应用程序,以便在不修改和重新发布代码的情况下对其进行更改。
-
源:应用程序使用来自一个或多个源的数据。源使用连接器
从外部系统(例如 Kinesis 数据流或 Kafka 存储桶)读取数据。有关更多信息,请参阅 添加流数据源。 -
运算符:应用程序使用一个或多个运算符 以处理数据。运算符可以转换、丰富或聚合数据。有关更多信息,请参阅 运算符。
-
接收器:应用程序通过接收器将数据发送到外部源。接收器使用连接器
将数据发送到 Kinesis 数据流、Kifka 主题、Amazon S3 或关系数据库。也可以使用特殊的连接器,仅出于开发目的打印输出。有关更多信息,请参阅 使用接收器写入数据。
您的应用程序需要一些外部依赖项,例如应用程序使用的 Flink 连接器或潜在的 Java 库。要在 Amazon Managed Service for Apache Flink 中运行,必须将应用程序与依赖项一起打包到 fat-jar 中,然后上传到 Amazon S3 存储桶。然后,您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包的位置以及任何其他运行时配置参数。
本教程演示如何使用 Apache Maven 打包应用程序,以及如何在您选择的 IDE 中本地运行应用程序。
满足完成练习的先决条件
要完成本指南中的步骤,您必须满足以下条件:
-
Git 客户端
。如果尚未安装 Git 客户端,请安装它。 -
Java 开发工具包 (JDK) 版本 11
。安装 Java JDK 11 并设置 JAVA_HOME环境变量,使其指向您的 JDK 安装位置。如果没有 JDK 11,可以使用 Amazon Coretto 11 或选择的任何其他标准 JDK。-
要验证是否已正确安装 SDK,请运行以下命令。如果使用 Amazon Corretto 以外的 JDK,则输出会有所不同。确保版本为 11.x。
$ java --version openjdk 11.0.23 2024-04-16 LTS OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS) OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)
-
-
– Apache Maven
如果尚未安装 Apache Maven,请安装它。要了解如何安装该工具,请参阅安装 Apache Maven 。 -
要测试您的 Apache Maven 安装,请输入以下内容:
$ mvn -version -
-
用于本地开发的 IDE。我们建议您使用开发环境(如 Eclipse Java Neon
或 IntelliJ IDEA )来开发和编译您的应用程序。 -
要测试您的 Apache Maven 安装,请输入以下内容:
$ mvn -version -
要开始,请转到设置 Amazon 账户并创建管理员用户。