使用 Spark 结构化流媒体 Amazon Kinesis Data Streams 连接器 - Amazon EMR
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Spark 结构化流媒体 Amazon Kinesis Data Streams 连接器

亚马逊EMR发布的7.1.0及更高版本在发布图片中包括火花结构化的流媒体Amazon Kinesis Data Streams连接器。使用此连接器,您可以使用亚马逊上的 Spark EMR 来处理存储在 Amazon Kinesis Data Streams 中的数据。该连接器支持两种使用者类型GetRecords(共享吞吐量)和SubscribeToShard(增强扇出)。此集成基于 spark-sql-kinesis-connector. 有关如何开始使用连接器的详细信息,请参阅README

以下示例演示如何使用连接器在 Amazon 上启动 Spark 应用程序 EMR

spark-submit my_kinesis_streaming_script.py