Amazon Kinesis for Apache Flink (DataStream API) - Amazon Kinesis Data Analytics
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Kinesis for Apache Flink (DataStream API)

本节向你介绍适用于 Apache Flink 和 DataStream API 的 Kinesis Data Analytics 的基本概念。它介绍了可用于创建和测试应用程序的选项。它还提供了相应的说明以安装所需的工具,以完成本指南中的教程和创建第一个应用程序。

适用于 Flink 应用程序的 Kinesis Data Analytics 组件

为了处理数据,您的 Kinesis Data Analytics 应用程序使用 Java/Apache Maven 或 Scala 应用程序,该应用程序使用 Apache Flink 运行时处理输入并生成输出。

Kinesis Data Analytics 应用程序包含以下组件:

  • 运行时属性:您可以使用运行时属性 配置应用程序,而无需重新编译应用程序代码。

  • 源:应用程序通过 使用数据。源连接器从 Kinesis 数据流、Amazon S3 存储桶等读取数据。有关更多信息,请参阅

  • 操作符:应用程序使用一个或多个操作符 以处理数据。操作符可以转换、丰富或聚合数据。有关更多信息,请参阅DataStream API 操作员

  • 接收器:应用程序使用接收器 将生成的数据发送到外部源。Sink 连接器会将Data Streams、Kinesis Data Firehose 传输流、Amazon S3 存储桶等。有关更多信息,请参阅接收器

创建、编译和打包应用程序代码后,您可以将代码包上载到 Amazon Simple Storage Simple Simple Simple Simple Simple Si 然后,您创建 Kinesis Data Analytics 您传入代码包位置、作为流数据源的 Kinesis 数据流,通常传入接收应用程序处理过的数据流或文件位置。

完成练习的先决条件

要完成本指南中的步骤,您必须满足以下条件:

要开始,请转到步骤 1:设置 Amazon 账户并创建管理员用户