Amazon Kinesis Data Analytics for Apache Flink(表 API)入门 - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis Data Analytics for Apache Flink(表 API)入门

本节介绍 Kinesis Data Analytics for Apache Flink 和表 API 的基本概念。它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

Flink 应用程序的 Kinesis Data Analytics 的组件

为了处理数据,Kinesis Data Analytics 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Kinesis Data Analytics 应用程序具有以下组件:

  • 运行时属性:您可以使用运行时属性配置应用程序,而无需重新编译应用程序代码。

  • 表来源:应用程序通过源使用数据。一个资源连接器从 Kinesis 数据流、Amazon MSK 主题或类似主题读取数据。有关更多信息,请参阅 表 API 来源

  • 函数:该应用程序使用一个或多个函数处理数据。一个功能可以转换、丰富或聚合数据。

  • 接收器:应用程序使用接收器将生成的数据发送到外部源。一个下沉连接器将数据写入 Kinesis 数据流、Kinesis Data Firehose 传输流、Amazon MSK 主题、Amazon S3 存储桶等。有关更多信息,请参阅 表 API 接收器

在创建、编译和打包应用程序代码后,您将代码包上传到 Amazon S3 存储桶。然后创建 Kinesis Data Analytics 应用程序。您在代码包位置中传入一个 Amazon MSK 主题以作为流数据源,它通常是接收应用程序处理的数据的流或文件位置。

先决条件

在开始本教程之前,请完成使用 Amazon Kinesis Data Analytics Apache Flink 入门 (DataStreamAPI)

要开始使用,请参阅创建应用程序.