DynamoDB Streams 和 Apache Flink - Amazon DynamoDB
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

DynamoDB Streams 和 Apache Flink

可以通过 Apache Flink 使用 Amazon DynamoDB Streams 记录。借助适用于 Apache Flink 的亚马逊托管服务,可以使用 Apache Flink 来实时转换和分析流数据。Apache Flink 是一个用于处理实时数据的开源流处理框架。适用于 Apache Flink 的 Amazon DynamoDB Streams 连接器可简化 Apache Flink 工作负载的构建和管理,并可让您将应用程序与其它 Amazon Web Services 服务集成。

适用于 Apache Flink 的亚马逊托管服务有助于您快速构建端到端流处理应用程序,以用于日志分析、点击流分析、物联网(IoT)、广告技术、游戏等。四个最常见的用例是流式提取-转换-加载(ETL)、事件驱动型应用程序、响应式实时分析和数据流的交互式查询。有关从 Amazon DynamoDB Streams 写入 Apache Flink 的更多信息,请参阅 Amazon DynamoDB Streams Connector

Amazon DynamoDB Streams 支持在 DescribeStream API 中使用 ShardFilter 参数来查找分片子集。通过在请求中指定父分片,DynamoDB Streams 将返回其直接子分片。您可以使用 ShardFilter 参数在父分片关闭后快速发现子分片,从而提高流处理应用程序的响应速度和成本效益。

适用于 Apache Flink 的亚马逊托管服务在从 DynamoDB Streams 读取时支持 ShardFilter 参数。要使用此功能,您必须请求访问包含 ShardFilter 支持的特殊 Flink 连接器版本。要开始使用,请在 Amazon Support Center 开设一个支持案例并请求访问这些二进制文件。有关将 DynamoDB Streams 与 Apache Flink 结合使用的更多信息,请参阅《DynamoDB 开发人员指南》中的读取和处理流