使用 Spark 结构化流媒体 Amazon Kinesis Data Streams 连接器 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Spark 结构化流媒体 Amazon Kinesis Data Streams 连接器

亚马逊 EMR 7.1.0 及更高版本在发布图片中包含火花结构化流媒体 Amazon Kinesis Data Streams 连接器。使用此连接器,您可以在 Amazon EMR 上使用 Spark 来处理存储在 Amazon Kinesis Data Streams 中的数据。该连接器支持两种使用者类型GetRecords(共享吞吐量)和SubscribeToShard(增强扇出)。此集成基于 spark-sql-kinesis-connector. 有关如何开始使用连接器的详细信息,请参阅自述文件

以下示例演示如何使用连接器启动 Amazon EMR 的 Spark 应用程序

spark-submit my_kinesis_streaming_script.py