Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Lambda 中的 Apache Kafka 事件轮询器扩展模式

您可以为 Amazon MSK 和自托管式 Apache Kafka 事件源映射选择两种事件轮询器扩展模式之一：

按需模式（默认）

当您最初创建 Kafka 事件源时，Lambda 会分配默认数量的事件轮询器来处理 Kafka 主题中的所有分区。Lambda 根据消息负载自动扩展或缩减事件轮询器的数量。

Lambda 会按一分钟的间隔时间来评估主题中所有分区的偏移滞后。如果偏移延迟太高，则分区接收消息的速度比 Lambda 处理消息的速度更快。如有必要，Lambda 会在主题中添加或删除事件轮询器。添加或删除事件轮询器的自动扩缩过程在评估后的三分钟内发生。

如果目标 Lambda 函数受到限制，Lambda 会减少事件轮询器的数量。此操作通过减少事件轮询器可以检索和发送到函数的消息数来减少函数的工作负载。

预置模式

对于需要微调事件源映射吞吐量的工作负载，您可以使用预调配模式。在预调配模式下，您可以为预调配事件轮询器数量定义最小和最大限制。这些预调配事件轮询器专用于事件源映射，并且可以通过响应式自动扩缩处理意外的消息激增。对于具有严格性能要求的 Kafka 工作负载，我们建议您使用预调配模式。

在 Lambda 中，事件轮询器是一种计算单元，其吞吐能力因事件源类型的不同而有所差异。对于 Amazon MSK 和自行管理的 Apache Kafka，每个事件轮询器最多可以处理 5 MB/秒的吞吐量或最多 5 次并发调用。例如，如果您的事件源平均生成 1MB 的有效载荷，而您的函数平均运行时间为 1 秒，则单一的 Kafka 事件轮询器能够支持每秒 5MB 的吞吐量以及 5 次并发的 Lambda 调用（假设没有有效载荷的转换操作）。对于 Amazon SQS，每个事件轮询器最多可以处理 1 MB/秒的吞吐量或最多 10 次并发调用。使用预置模式会产生额外成本，具体取决于您的事件轮询器使用情况。有关定价的详细信息，请参阅 Amazon Lambda 定价。

在预调配模式下，最小事件轮询器数量 (MinimumPollers) 的可接受值范围介于 1 到 200 之间（含首尾）。事件轮询器的最大数量 (MaximumPollers) 的可接受值范围介于 1 到 2000 之间（含首尾）。MaximumPollers 必须大于或等于 MinimumPollers。此外，为了保持分区内的有序处理，Lambda 會将 MaximumPollers 限制为主题中的分区数量。

有关选择适当的最小和最大事件轮询器值的更多详细信息，请参阅最佳实践。

您可以使用控制台或 Lambda API 为 Kafka 事件源映射配置预调配模式。

您可以使用 EventSourceMappingConfiguration 中的 ProvisionedPollerConfig 对象，以编程方式配置预调配模式。例如，以下 UpdateEventSourceMapping CLI 命令将 MinimumPollers 值配置为 5，将 MaximumPollers 值配置为 100。

aws lambda update-event-source-mapping \
    --uuid a1b2c3d4-5678-90ab-cdef-EXAMPLE11111 \
    --provisioned-poller-config '{"MinimumPollers": 5, "MaximumPollers": 100}'

配置预调配模式后，您可以通过监控 ProvisionedPollers 指标来观测事件轮询器对您的工作负载的使用情况。有关更多信息，请参阅 事件源映射指标。

要禁用预调配模式并返回默认（按需）模式，您可以使用以下 UpdateEventSourceMapping CLI 命令：

aws lambda update-event-source-mapping \
    --uuid a1b2c3d4-5678-90ab-cdef-EXAMPLE11111 \
    --provisioned-poller-config '{}'

高级错误处理和性能功能

对于启用了预置模式的 Kafka 事件源映射，您可以配置其他功能来改进错误处理和性能：

使用预调配模式时的最佳实践和注意事项

事件源映射的最小和最大事件轮询器的最佳配置取决于应用程序的性能需求。建议您从默认最小事件轮询器开始，以设定性能配置文件的基准。根据观测到的消息处理模式和所需的性能配置文件调整配置。

对于流量激增且性能需求严格的工作负载，请增加最少的事件轮询器数以处理消息突然激增。要确定所需的最少事件轮询器数，请考虑工作负载的每秒消息数和平均有效载荷大小，并使用单个事件轮询器的吞吐能力（最高 5 Mbps）作为参考。

为了保持分区内的有序处理，Lambda 会将最大事件轮询器数限制为主题中的分区数量。此外，您的事件源映射可以扩展到的最大事件轮询器数取决于函数的并发设置。

激活预调配模式时，更新您的网络设置以删除 Amazon PrivateLink VPC 端点和关联的权限。

预置模式的成本优化

预置模式定价

预置模式的计费依据的是预置的最低事件轮询器数量，以及自动扩缩过程中所消耗的事件轮询器数量。费用通过名为事件轮询单元（EPU）的计费单位计算。您需根据所使用的 EPU 数量及使用时长进行付费，其计算单位为“事件轮询单元小时”。您可以将预置模式与单个 ESM 一起用于性能敏感型应用程序，也可以将多个 ESM 分组到同一个 VPC 中以共享 EPU 容量和成本。我们将深入探讨两项可帮助您优化预置模式成本的功能。有关定价的详细信息，请参阅 Amazon Lambda 定价。

增强型 EPU 利用率

每个 EPU 支持最高 20 MB/s 的事件轮询吞吐能力，并且默认支持 10 个事件轮询器。当您通过设置最小和最大轮询器数量来为 Kafka ESM 创建预置模式时，它会依据每个 EPU 默认配备 10 个事件轮询器这一标准，使用最小轮询器数量来预置 EPU。但是，每个事件轮询器可以独立扩展以最高支持 5 MB/s 的吞吐能力，这可能意味着在特定的 EPU 上需要较少数量的事件轮询器，并且可能会触发 EPU 的扩展。在 EPU 上分配的事件轮询器数量取决于每个事件轮询器所消耗的计算容量。这种提高 EPU 利用率的方法使得具有不同吞吐量需求的事件轮询器能够有效地利用 EPU 容量，从而降低了所有 ESM 的成本。

ESM 分组

为了进一步优化您的预置模式成本，您可以将多个 Kafka ESM 进行分组以共享 EPU 容量。借助 ESM 分组和增强的 EPU 利用率，与仅使用单个 ESM 模式运行相比，对于低吞吐量的工作负载，您能够将预置模式成本最高降低 90%。所有需要少于 1 个 EPU 容量的 ESM 都将受益于 ESM 分组。此类 ESM 通常仅需极少的最小事件轮询器数量即可满足其吞吐量需求。此功能将使您能够将预置模式应用于您所有的 Kafka 工作负载，并受益于诸如模式验证、对 Avro/Protobuf 事件的筛选、低延迟调用以及仅在预置模式下才具备的增强型错误处理等功能。

当您为同一 Amazon VPC 中的多个 ESM 配置具有相同值的 PollerGroupName 参数时，这些 ESM 将共享 EPU 资源，而不是每个 ESM 都需要专用 EPU 容量。对于每个轮询器组，最多可以对 100 个 ESM 进行分组，并且一个组中所有 ESM 的聚合最大轮询器数不能超过 2000。

要配置 ESM 分组（控制台）

要配置 ESM 分组（Amazon CLI）

以下示例创建具有名为 production-app-group 的轮询器组的 ESM。

aws lambda create-event-source-mapping \
  --function-name myFunction1 \
  --event-source-arn arn:aws:kafka:us-east-1:123456789012:cluster/MyCluster/abcd1234 \
  --topics topic1 \
  --starting-position LATEST \
  --provisioned-poller-config '{
    "MinimumPollers": 1, 
    "MaximumPollers": 10, 
    "PollerGroupName": "production-app-group"
  }'

要将另一个 ESM 添加到同一个组（共享 EPU 容量），请使用相同的 PollerGroupName：

aws lambda create-event-source-mapping \
  --function-name myFunction2 \
  --event-source-arn arn:aws:kafka:us-east-1:123456789012:cluster/MyCluster/abcd1234 \
  --topics topic2 \
  --starting-position LATEST \
  --provisioned-poller-config '{
    "MinimumPollers": 1, 
    "MaximumPollers": 10, 
    "PollerGroupName": "production-app-group"
  }'

# Move ESM to a different group
aws lambda update-event-source-mapping \
  --uuid a1b2c3d4-5678-90ab-cdef-EXAMPLE11111 \
  --provisioned-poller-config '{
    "MinimumPollers": 1, 
    "MaximumPollers": 10, 
    "PollerGroupName": "new-group-name"
  }'

# Remove ESM from group (use dedicated resources)
aws lambda update-event-source-mapping \
  --uuid a1b2c3d4-5678-90ab-cdef-EXAMPLE11111 \
  --provisioned-poller-config '{
    "MinimumPollers": 1, 
    "MaximumPollers": 10, 
    "PollerGroupName": ""
  }'

分组策略注意事项

成本优化示例

设想这样一个场景：您拥有 10 个 ESM，每个都配置了 1 个事件轮询器，且其吞吐量均低于 2 MB/s：

不分组：

进行分组：