借助 DataStream API 在 Managed Service for Apache Flink 中使用连接器移动数据 - Managed Service for Apache Flink
可用的连接器
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Amazon Managed Service for Apache Flink（Amazon MSF）之前称为 Amazon Kinesis Data Analytics for Apache Flink。

借助 DataStream API 在 Managed Service for Apache Flink 中使用连接器移动数据

在 Amazon Managed Service for Apache Flink DataStream API 中，连接器是将数据移入和移出 Managed Service for Apache Flink 应用程序的软件组件。连接器是灵活集成的组件，可让您读取文件和目录。连接器包含用于与 Amazon 服务和第三方系统交互的完整模块。

连接器类型包括：

  • 添加流数据源：从 Kinesis 数据流、文件或其他数据源中向应用程序提供数据。

  • 使用接收器写入数据：将数据从应用程序发送到 Kinesis 数据流、Firehose 流或其他数据目标。

  • 使用异步 I/O：提供对数据源（例如数据库）的异步访问以丰富流事件。

可用的连接器

Apache Flink 框架包含用于从各种源中访问数据的连接器。有关 Apache Flink 框架中可用的连接器的信息，请参阅 Apache Flink 文档中的连接器。

警告

如果您的应用程序在 Flink 1.6、1.8、1.11 或 1.13 上运行，并且想要在中东（阿联酋）、亚太地区（海得拉巴）、以色列（特拉维夫）、欧洲（苏黎世）、亚太地区（墨尔本）或亚太地区（雅加达）区域运行，则可能需要使用更新的连接器重建应用程序存档或升级到 Flink 1.18。

Apache Flink 连接器存储在它们自己的开源存储库中。如果您要升级到 1.18 或更高版本，则必须更新依赖项。要访问 Apache Flink Amazon 连接器的存储库，请参阅 flink-connector-aws。

以前的 Kinesis 源代码 org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer 已停用，并可能在 Flink 的未来版本中移除。改为使用 Kinesis 源。

FlinkKinesisConsumer 和 KinesisStreamsSource 之间不存在状态兼容性。有关详细信息，请参阅 Apache Flink 文档中的将现有作业迁移到新的 Kinesis Streams 源。

以下是推荐的指导方针：

连接器升级
Flink 版本 使用的连接器 解决方案
1.19、1.20 Kinesis 源

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时，请确保使用的是最新的 Kinesis Data Streams 源连接器。版本必须为 5.0.0 或更高版本。有关更多信息，请参阅 Amazon Kinesis Data Streams 连接器。
1.19、1.20 Kinesis 接收器

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时，请确保使用的是最新的 Kinesis Data Streams 接收器连接器。版本必须为 5.0.0 或更高版本。有关更多信息，请参阅 Kinesis Streams 接收器。
1.19、1.20 DynamoDB Streams 源

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时，请确保使用的是最新的 DynamoDB Streams 源连接器。版本必须为 5.0.0 或更高版本。有关更多信息，请参阅 Amazon DynamoDB 连接器。
1.19、1.20 DynamoDB 接收器 升级到 Managed Service for Apache Flink 1.19 和 1.20 版时，请确保使用的是最新的 DynamoDB 接收器连接器。版本必须为 5.0.0 或更高版本。有关更多信息，请参阅 Amazon DynamoDB 连接器。
1.19、1.20 Amazon SQS 接收器

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时，请确保使用的是最新的 Amazon SQS 接收器连接器。版本必须为 5.0.0 或更高版本。有关更多信息，请参阅 Amazon SQS 接收器。
1.19、1.20 Amazon Managed Service for Prometheus 接收器

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时，请确保使用的是最新的 Amazon Managed Service for Prometheus 接收器连接器。版本必须为 1.0.0 或更高版本。有关更多信息，请参阅 Prometheus 接收器。