本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Spark 结构化流媒体 Amazon Kinesis Data Streams 连接器
亚马逊EMR发布的7.1.0及更高版本在发布图片中包括火花结构化的流媒体Amazon Kinesis Data Streams连接器。使用此连接器,您可以使用亚马逊上的 Spark EMR 来处理存储在 Amazon Kinesis Data Streams 中的数据。该连接器支持两种使用者类型GetRecords
(共享吞吐量)和SubscribeToShard
(增强扇出)。此集成基于
spark-sql-kinesis-connector
以下示例演示如何使用连接器在 Amazon 上启动 Spark 应用程序 EMR
spark-submit
my_kinesis_streaming_script.py