本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Spark 结构化流媒体 Amazon Kinesis Data Streams 连接器
亚马逊 EMR 7.1.0 及更高版本在发布图片中包含火花结构化流媒体 Amazon Kinesis Data Streams 连接器。使用此连接器,您可以在 Amazon EMR 上使用 Spark 来处理存储在 Amazon Kinesis Data Streams 中的数据。该连接器支持两种使用者类型GetRecords
(共享吞吐量)和SubscribeToShard
(增强扇出)。此集成基于
spark-sql-kinesis-connector
以下示例演示如何使用连接器启动 Amazon EMR 的 Spark 应用程序
spark-submit
my_kinesis_streaming_script.py