在 Kinesis 流作业中使用增强型扇出功能 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Kinesis 流作业中使用增强型扇出功能

使用增强型扇出功能的用户能够接收来自 Kinesis 流的记录,其专用吞吐量可能高于普通用户。这是通过优化用于向 Kinesis 用户(例如您的作业)提供数据的传输协议来完成的。有关 Kinesis 增强型扇出功能的更多信息,请参阅 Kinesis 文档

在增强型扇出功能模式下,maxRecordPerReadidleTimeBetweenReadsInMs 连接选项不再适用,因为使用增强型扇出功能时这些参数不可配置。重试的配置选项按所述执行。

使用以下步骤为您的流作业启用和禁用增强型扇出功能。应为每项将消耗流中数据的作业注册一个流用户。

要在作业中启用增强型扇出功能使用,请执行以下操作:
  1. 使用 Kinesis API 为作业注册流用户。按照说明,使用 Kinesis 文档中的使用 Kinesis Data Streams API 为用户注册增强型扇出功能。只需要按照第一步进行操作,即调用 RegisterStreamConsumer。您的请求应返回 ARN consumerARN

  2. 在连接方法参数中将连接选项 fanoutConsumerARN 设置为 consumerARN

  3. 重新启动作业。

要在作业中禁用增强型扇出功能使用,请执行以下操作:
  1. 从方法调用中移除 fanoutConsumerARN 连接选项。

  2. 重新启动作业。

  3. 按照 Kinesis 文档中的说明,取消注册用户。这些说明适用于控制台,但也可以通过 Kinesis API 来实现。有关通过 Kinesis API 取消注册流用户的更多信息,请查阅 Kinesis 文档中的 DeregisterStreamConsumer