Amazon Managed Service for Apache Flink 入门(表 API) - Managed Service for Apache Flink
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Managed Service for Apache Flink 入门(表 API)

本节向您介绍Managed Service for Apache Flink和使用表 API 和 SQL 在 Java 中实现应用程序的基本概念。它演示了如何在同一个应用程序 APIs 中的不同应用程序之间切换,并描述了用于创建和测试应用程序的可用选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

查看适用于 Apache Flink 的托管服务应用程序的组件

注意

Managed Service for Apache Flink 支持所有 Apache Flink 支持所有 J APIs VM 语言。根据您选择的 API,应用程序的结构和实现会略有不同。本教程介绍了使用表 API 和 SQL 实现的应用程序,以及如何与 DataStream API 集成(使用 Java 实现)。

为了处理数据,您的Managed Service for Apache Flink 应用程序使用 Java 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

典型的 Apache Flink 应用程序具有以下组件:

  • 运行时属性:您可以使用运行时属性将配置参数传递给应用程序,而无需修改和重新发布代码。

  • 来源:应用程序使用来自一个或多个来源的数据。源使用连接器从外部系统读取数据,例如 Kinesis 数据流或 Amazon MSK 主题。对于开发或测试,您也可以让源随机生成测试数据。有关更多信息,请参阅 将流数据源添加到适用于 Apache Flink 的托管服务。在 SQL 或表 API 中,源定义为源表

  • 转换:应用程序通过一个或多个可以筛选、丰富或聚合数据的转换来处理数据。使用 SQL 或表 API 时,转换被定义为对表或视图的查询

  • 接收器:应用程序通过接收器将数据发送到外部系统。接收器使用连接器将数据发送到外部系统,例如 Kinesis 数据流、Amazon MSK 主题、Amazon S3 存储桶或关系数据库。您也可以使用特殊的连接器打印输出,仅用于开发目的。使用 SQL 或表 API 时,接收器被定义为汇表,您将在其中插入结果。有关更多信息,请参阅 在 Apache Flink 的托管服务中使用接收器写入数据

您的应用程序需要一些外部依赖项,例如您的应用程序使用的 Flink 连接器,或者可能是 Java 库。要在适用于 Apache Flink 的亚马逊托管服务中运行,您必须将应用程序和依赖项打包到 Fat-Jar 中,然后将其上传到 Amazon S3 存储桶。然后,您创建一个 Managed Service for Apache Flink 应用程序。您可以传递代码包位置以及其他运行时配置参数。本教程演示如何使用 Apache Maven 打包应用程序,以及如何在您选择的 IDE 中本地运行应用程序。

完成所需的先决条件

在开始本教程之前,请先完成 开始使用适用于 Apache Flink 的亚马逊托管服务 (DataStream API)中的前两个步骤:

要开始使用,请参阅 创建 应用程序

后续步骤

清理 Amazon 资源