适用于 Python 的 Apache Flink 的 Amazon Kinesis Data Analytics 入门 - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

适用于 Python 的 Apache Flink 的 Amazon Kinesis Data Analytics 入门

本节介绍使用 Python 和表 API 的 Kinesis Data Analytics 适用于 Apache Flink 的基本概念。它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

Flink 应用程序的 Kinesis Data Analytics 的组件

为了处理数据,Kinesis Data Analytics 应用程序使用 Python 应用程序,该应用程序使用 Apache Flink 运行时处理输入和生成输出。

Kinesis Data Analytics 应用程序具有以下组件:

  • 运行时属性:您可以使用运行时属性配置应用程序,而无需重新编译应用程序代码。

  • 表来源:应用程序通过源使用数据。一个资源连接器从 Kinesis 数据流、Amazon MSK 主题或类似主题读取数据。有关更多信息,请参阅 表 API 来源

  • 函数:应用程序使用一个或多个函数处理数据。一个功能可以转换、丰富或聚合数据。

  • 接收器:该应用程序使用接收器将数据生成到外部源。一个下沉连接器将数据写入 Kinesis 数据流、Kinesis Data Firehose 传输流、Amazon MSK 主题、Amazon S3 存储桶等。有关更多信息,请参阅 表 API 接收器

在创建并打包应用程序代码后,您可以将代码包上传到 Amazon S3 存储桶。然后,您将创建 Kinesis Data Analytics 应用程序。您可以在代码包位置中传入流数据源,它通常是接收应用程序处理的数据的流或文件位置。

先决条件

在开始本教程之前,请先完成使用 Amazon Kinesis Data Analytics Apache Flink 入门 (DataStreamAPI)

要了解其用法,请参阅 创建应用程序