Amazon Managed Service for Apache Flink 之前称为 Amazon Kinesis Data Analytics for Apache Flink。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
将 Apache Flink 连接器与托管服务一起使用 Apache Flink
Apache Flink 连接器是将数据移入和移出适用于 Apache Flink 的亚马逊托管服务应用程序的软件组件。连接器是灵活的集成,允许您从文件和目录中读取。连接器包含用于与 Amazon 服务和第三方系统交互的完整模块。
连接器类型包括:
来源:向您的应用程序提供来自 Kinesis 数据流、文件、Apache Kafka 主题、文件或其他数据源的数据。
-
接收器:将数据从您的应用程序发送到 Kinesis 数据流、Firehose 流、Apache Kafka 主题或其他数据目的地。
-
异步 I/O:提供对数据库等数据源的异步访问以丰富流。
Apache Flink 连接器存储在它们自己的源代码库中。Apache Flink 连接器的版本和工件会根据你使用的 Apache Flink 版本以及你使用的是 DataStream、表还是。SQL API
适用于 Apache Flink 的亚马逊托管服务支持 40 多个预先构建的 Apache Flink 源和接收器连接器。下表汇总了最受欢迎的连接器及其相关版本。您也可以使用 Async-Sink 框架构建自定义接收器。有关更多信息,请参阅 Apache Flink 文档中的通用异步基础接收器
要访问 Apache Flink Amazon 连接器的存储库,请参阅。flink-connector-aws
适用于 Flink 版本的连接器 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Connector | Flink 版本 1.15 | Flink 版本 1.18 | Flink 版本 1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Kinesis 数据流-来源- DataStream 和表 API | flink-connector-kinesis,1.15.4 | flink-connector-kinesis,4.3.0-1.18 | flink-connector-kinesis,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Kinesis 数据流-接收器- DataStream 和表 API | flink-connector-aws-kinesis-streams,1.15.4 | flink-connector-aws-kinesis-streams,4.3.0-1.18 | flink-connector-aws-kinesis-streams,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Kinesis Data Streams-Source/Sink-SQL | flink-sql-connector-kinesis,1.15.4 | flink-sql-connector-kinesis,4.3.0-1.18 | flink-sql-connector-kinesis,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Kafka-and T DataStream able API | flink-connector-kafka,1.15.4 | flink-connector-kafka,3.2.0-1.18 | flink-connector-kafka,3.2.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Kafka-SQL | flink-sql-connector-kafka,1.15.4 | flink-sql-connector-kafka,3.2.0-1.18 | flink-sql-connector-kafka,3.2.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Firehose-还有桌子 DataStream API | flink-connector-aws-kinesis-firehose,1.15.4 | flink-connector-aws-firehose,4.3.0-1.18 | flink-connector-aws-firehose,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Firehose-SQL | flink-sql-connector-aws-kinesis-firehose,1.15.4 | flink-sql-connector-aws-firehose,4.3.0-1.18 | flink-sql-connector-aws-firehose,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DynamoD DataStream B-和桌子 API | flink-connector-dynamodb,3.0.0-1.15 | flink-connector-dynamodb,4.3.0-1.18 | flink-connector-dynamodb,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DynamoDB-SQL | flink-sql-connector-dynamodb,3.0.0-1.15 | flink-sql-connector-dynamodb,4.3.0-1.18 | flink-sql-connector-dynamodb,4.3.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
OpenSearch - DataStream 还有桌子 API | - | flink-connector-opensearch,1.2.0-1.18 | flink-connector-opensearch,1.2.0-1.19 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
OpenSearch - SQL | - | flink-sql-connector-opensearch,1.2.0-1.18 | flink-sql-connector-opensearch,1.2.0-1.19 |
要详细了解适用于 Apache Flink 的亚马逊托管服务中的连接器,请参阅: