为 Lambda 配置自托管式 Apache Kafka 集群和网络 - Amazon Lambda
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

为 Lambda 配置自托管式 Apache Kafka 集群和网络

要将 Lambda 函数连接到自托管式 Apache Kafka 集群,需要正确配置集群及其所处的网络。此页面介绍如何配置集群和网络。如果您的集群和网络已正确配置,请参阅为 Lambda 配置自托管式 Apache Kafka 事件源配置事件源映射。

自托管式 Apache Kafka 集群设置

可使用云提供商(例如 Confluent CloudRedpanda),托管自托管式 Apache Kafka 集群,或者在自己的基础设施上运行该集群。确保集群配置正确,并且可以从 Lambda 事件源映射要连接的网络访问。

配置网络安全

要通过事件源映射向 Lambda 提供对自主管理的 Apache Kafka 的完全访问权限,集群必须使用公有端点(公有 IP 地址),或者您必须提供对您在其中创建了集群的 Amazon VPC 的访问权限。

将自行管理的 Apache Kafka 与 Lambda 结合使用时,创建 Amazon PrivateLink VPC 端点,以便您的函数可以访问 Amazon VPC 中的资源。

注意

对于使用事件轮询器的默认(按需)模式的事件源映射函数,需要 Amazon PrivateLink VPC 端点。如果事件源映射使用预调配模式,则无需配置 Amazon PrivateLink VPC 端点。

创建端点以提供对以下资源的访问权限:

  • Lambda:为 Lambda 服务主体创建端点。

  • Amazon STS:为 Amazon STS 创建端点,以便服务主体代您代入角色。

  • Secrets Manager:如果集群使用 Secrets Manager 来存储凭证,请为 Secrets Manager 创建端点。

也可以在 Amazon VPC 中的每个公有子网上配置 NAT 网关。有关更多信息,请参阅为连接到 VPC 的 Lambda 函数启用互联网访问权限

为自主管理的 Apache Kafka 创建事件源映射时,Lambda 会检查为 Amazon VPC 配置的子网和安全组是否已经存在弹性网络接口(ENI)。如果 Lambda 发现现有 ENI,则会尝试重用这些 ENI。否则,Lambda 会创建新的 ENI 来连接到事件源并调用函数。

注意

Lambda 函数始终在 Lambda 服务拥有的 Amazon VPC 中运行。函数的 VPC 配置不会影响事件源映射。只有事件源的网络配置才能决定 Lambda 连接到事件源的方式。

为包含集群的 Amazon VPC 配置安全组。默认情况下,自主管理的 Apache Kafka 使用以下端口:9092

  • 入站规则:允许与事件源关联安全组的默认代理端口的所有流量。或者,您可以使用自引用安全组规则允许来自同一安全组内的实例进行访问。

  • 出站规则 – 如果您的函数需要与 Amazon 服务进行通信,则允许端口 443 上的所有流量向外部目标传输。或者,如果您不需要与其他 Amazon 服务通信,也可以使用自引用的安全组规则来限制对代理的访问权限。

  • Amazon VPC 端点入站规则:如果您正在使用 Amazon VPC 端点,则与 Amazon VPC 端点关联的安全组,必须允许来自集群安全组的端口 443 上的入站流量。

如果集群使用身份验证,您还可以限制 Secrets Manager 端点的端点策略。要调用 Secrets Manager API,Lambda 会使用函数角色而非 Lambda 服务主体。

例 VPC 端点策略:Secrets Manager 端点
{ "Statement": [ { "Action": "secretsmanager:GetSecretValue", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws::iam::123456789012:role/my-role" ] }, "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret" } ] }

当您使用 Amazon VPC 端点时,Amazon 会使用端点的弹性网络接口(ENI)路由 API 调用来调用函数。Lambda 服务主体需要针对使用这些 ENI 的任何角色和函数调用 lambda:InvokeFunction

默认情况下,Amazon VPC 端点具有开放的 IAM 策略,允许对资源进行广泛访问。最佳实践是,将这些策略限制为使用该端点执行所需的操作。为确保事件源映射能够调用 Lambda 函数,VPC 端点策略必须允许 Lambda 服务主体调用 sts:AssumeRolelambda:InvokeFunction。将 VPC 端点策略限制为仅允许来自组织内部的 API 调用,会导致事件源映射无法正常运行,因此这些策略中需要 "Resource": "*"

以下 VPC 端点策略示例展示了如何向 Amazon STS 的 Lambda 服务主体和 Lambda 端点授予所需的访问权限。

例 VPC 端点策略 – Amazon STS 端点
{ "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "Service": [ "lambda.amazonaws.com" ] }, "Resource": "*" } ] }
例 VPC 端点策略 – Lambda 端点
{ "Statement": [ { "Action": "lambda:InvokeFunction", "Effect": "Allow", "Principal": { "Service": [ "lambda.amazonaws.com" ] }, "Resource": "*" } ] }