Amazon Managed Service for Apache Flink 入门(表 API) - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。

Amazon Managed Service for Apache Flink 入门(表 API)

本节向您介绍 Managed Service for Apache Flink 的基本概念以及使用表 API 和 SQL 在 Java 中实施应用程序。其中演示如何在同一个应用程序中的不同 API 之间切换,并且描述用于创建和测试应用程序的可用选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

审核 Managed Service for Apache Flink 应用程序组件

注意

Managed Service for Apache Flink 支持所有 APache Flink API,可能还支持所有 JVM 语言 根据您选择的 API,应用程序的结构和实施会略有不同。本教程介绍使用表 API 和 SQL 实施应用程序,以及与 DataStream API(以 Java 实施)的集成。

为处理数据,Managed Service for Apache Flink 应用程序使用 Java 应用程序,其使用 Apache Flink 运行时系统处理输入和生成输出。

典型的 Apache Flink 应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性将配置参数传递给应用程序,而无需修改和重新发布代码。

  • 源:应用程序使用来自一个或多个的数据。源使用连接器从外部系统(例如 Kinesis 数据流或 Amazon MSK 主题)读取数据。对于开发或测试,您也可以让源随机生成测试数据。有关更多信息,请参阅 将流数据源添加到 Managed Service for Apache Flink。在 SQL 或表 API 中,源定义为源表

  • 转换:应用程序通过一个或多个可以筛选、丰富或聚合数据的转换来处理数据。使用 SQL 或表 API 时,转换定义为对表的查询对视图的查询

  • 接收器:应用程序通过接收器将数据发送到外部系统。接收器使用连接器将数据发送到外部系统,例如 Kinesis 数据流、Amazon MSK 主题、Amazon MSK 主题、Amazon S3 存储桶或关系数据库。也可以使用特殊的连接器,仅出于开发目的打印输出。使用 SQL 或表 API 时,接收器定义为接收器表,您将在其中插入结果。有关更多信息,请参阅 在 Managed Service for Apache Flink 中使用接收器写入数据

您的应用程序需要一些外部依赖项,例如应用程序使用的 Flink 连接器或潜在的 Java 库。要在 Amazon Managed Service for Apache Flink 中运行,您必须将应用程序和依赖项打包到 fat-JAR 中,然后将其上传到 Amazon S3 存储桶。然后,您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包位置以及其他运行时配置参数。本教程演示如何使用 Apache Maven 打包应用程序,以及如何在您选择的 IDE 中本地运行应用程序。

完成所需的先决条件

在开始本教程之前,请先完成 Amazon Managed Service for Apache Flink 入门(DataStream API)中的前两个步骤:

要开始使用,请参阅 创建应用程序

后续步骤

清理 Amazon资源