DynamoDB Streams 和 Apache Flink
可以通过 Apache Flink 使用 Amazon DynamoDB Streams 记录。借助适用于 Apache Flink 的亚马逊托管服务
适用于 Apache Flink 的亚马逊托管服务有助于您快速构建端到端流处理应用程序,以用于日志分析、点击流分析、物联网(IoT)、广告技术、游戏等。四个最常见的用例是流式提取-转换-加载(ETL)、事件驱动型应用程序、响应式实时分析和数据流的交互式查询。有关从 Amazon DynamoDB Streams 写入 Apache Flink 的更多信息,请参阅 Amazon DynamoDB Streams Connector
将 ShardFilter 参数与适用于 Apache Flink 的 DynamoDB Streams 连接器结合使用
Amazon DynamoDB Streams 支持在 DescribeStream
API 中使用 ShardFilter
参数来查找分片子集。通过在请求中指定父分片,DynamoDB Streams 将返回其直接子分片。您可以使用 ShardFilter
参数在父分片关闭后快速发现子分片,从而提高流处理应用程序的响应速度和成本效益。
适用于 Apache Flink 的亚马逊托管服务在从 DynamoDB Streams 读取时支持 ShardFilter
参数。要使用此功能,您必须请求访问包含 ShardFilter
支持的特殊 Flink 连接器版本。要开始使用,请在 Amazon Support Center 开设一个支持案例并请求访问这些二进制文件。有关将 DynamoDB Streams 与 Apache Flink 结合使用的更多信息,请参阅《DynamoDB 开发人员指南》中的读取和处理流。