将 Lambda 与 Amazon SQS 结合使用

您可以使用 Lambda 函数来处理某个 Amazon Simple Queue Service（Amazon SQS）队列中的消息。Lambda 事件源映射支持标准队列和先进先出 (FIFO) 队列。在 Amazon SQS 中，您可以通过将来自一个应用程序组件的任务发送到一个队列中并异步处理它们来进行分载。

Lambda 轮询队列并同步调用您的 Lambda 函数，其中有包含队列消息的事件。Lambda 按批次读取消息，并为每个批次调用一次函数。当您的函数成功处理一个批次后，Lambda 就会将其消息从队列中删除。

当 Lambda 读取某个批处理时，消息将保留在队列中，但会根据队列的可见性超时长度隐藏。如果您的函数成功处理一个批次，Lambda 会将其消息从队列中删除。预设情况下，如果您的函数在处理某个批处理时遇到错误，则该批处理中的所有消息都会在队列中重新可见。因此，函数代码必须能够多次处理同一条消息，而不会产生意外的副作用。

要防止 Lambda 多次处理消息，您可以将事件源映射配置为在函数响应中包含批处理项目失败，也可以在 Lambda 函数成功处理消息后使用 Amazon SQS API 操作 DeleteMessage 将消息从队列中删除。有关使用 Amazon SQS API 的更多信息，请参阅 Amazon Simple Queue Service API Reference（Amazon Simple Email Service API 参考）。

示例标准队列消息事件

{
    "Records": [
        {
            "messageId": "059f36b4-87a3-44ab-83d2-661975830a7d",
            "receiptHandle": "AQEBwJnKyrHigUMZj6rYigCgxlaS3SLy0a...",
            "body": "Test message.",
            "attributes": {
                "ApproximateReceiveCount": "1",
                "SentTimestamp": "1545082649183",
                "SenderId": "AIDAIENQZJOLO23YVJ4VO",
                "ApproximateFirstReceiveTimestamp": "1545082649185"
            },
            "messageAttributes": {},
            "md5OfBody": "e4e68fb7bd0e697a0ae8f1bb342846b3",
            "eventSource": "aws:sqs",
            "eventSourceARN": "arn:aws:sqs:us-east-2:123456789012:my-queue",
            "awsRegion": "us-east-2"
        },
        {
            "messageId": "2e1424d4-f796-459a-8184-9c92662be6da",
            "receiptHandle": "AQEBzWwaftRI0KuVm4tP+/7q1rGgNqicHq...",
            "body": "Test message.",
            "attributes": {
                "ApproximateReceiveCount": "1",
                "SentTimestamp": "1545082650636",
                "SenderId": "AIDAIENQZJOLO23YVJ4VO",
                "ApproximateFirstReceiveTimestamp": "1545082650649"
            },
            "messageAttributes": {},
            "md5OfBody": "e4e68fb7bd0e697a0ae8f1bb342846b3",
            "eventSource": "aws:sqs",
            "eventSourceARN": "arn:aws:sqs:us-east-2:123456789012:my-queue",
            "awsRegion": "us-east-2"
        }
    ]
}

默认情况下，Lambda 将一次性轮询队列中最多 10 条消息，并将该批次发送到函数。为避免在记录数量较少的情况下调用该函数，您可以配置批处理时段，让事件源缓冲最多五分钟的记录。在调用函数之前，Lambda 将继续轮询 SQS 标准队列中的消息，直到批处理时段到期、达到调用有效负载大小配额或达到配置的最大批处理大小为止。

示例 FIFO 队列消息事件

对于 FIFO 队列，记录包含与重复数据消除和顺序相关的其他属性。

{
    "Records": [
        {
            "messageId": "11d6ee51-4cc7-4302-9e22-7cd8afdaadf5",
            "receiptHandle": "AQEBBX8nesZEXmkhsmZeyIE8iQAMig7qw...",
            "body": "Test message.",
            "attributes": {
                "ApproximateReceiveCount": "1",
                "SentTimestamp": "1573251510774",
                "SequenceNumber": "18849496460467696128",
                "MessageGroupId": "1",
                "SenderId": "AIDAIO23YVJENQZJOL4VO",
                "MessageDeduplicationId": "1",
                "ApproximateFirstReceiveTimestamp": "1573251510774"
            },
            "messageAttributes": {},
            "md5OfBody": "e4e68fb7bd0e697a0ae8f1bb342846b3",
            "eventSource": "aws:sqs",
            "eventSourceARN": "arn:aws:sqs:us-east-2:123456789012:fifo.fifo",
            "awsRegion": "us-east-2"
        }
    ]
}

配置队列以便用于 Lambda

创建一个 SQS 队列，用作您的 Lambda 函数事件源。然后将队列配置为可使您的 Lambda 函数有时间处理每批事件，并使 Lambda 在扩展时出现限制错误时能够重试。

为使函数有时间处理每批记录，请将源队列的可见性超时至少设置为您在函数上配置的超时的六倍。这一额外的时间有利于 Lambda 在您的函数处理之前的批处理期间遇到限流时进行重试。

如果函数多次都未能处理某条消息，则 Amazon SQS 可以将其发送到某个死信队列。如果函数返回错误，则批处理中的所有项目都将返回到队列中。在发生可见性超时之后，Lambda 会重新接收消息。要在多次接收之后将消息发送到第二个队列，请在源队列上配置死信队列。

如果您的函数返回错误，或者由于处于最大并发而无法调用，则处理可能会成功，但需要额外尝试。要在将消息发送到死信队列之前给予更好的处理机会，请将源队列重新驱动策略的 maxReceiveCount 设置为至少 5。

执行角色权限

Lambda 需要以下权限来管理 Amazon SQS 队列中的消息。将这些权限添加到您的函数的执行角色中。

将队列配置为事件源

创建事件源映射以指示 Lambda 将队列中的项目发送到 Lambda 函数。您可以创建多个事件源映射，以使用单个函数处理来自多个队列的项目。当 Lambda 调用目标函数时，事件可以包含多个项目（最多为可配置的最大批处理大小）。

要在 Lambda 控制台中将您的函数配置为从 Amazon SQS 读取，请创建 SQS 触发器。

扩展和处理

对于标准队列，Lambda 使用长轮询来轮询一个队列，直到它变为活动状态。当消息可用时，Lambda 最多可读取五个批处理并将其发送到您的函数。如果仍有消息可用，则 Lambda 增加批量读取的进程数，最多每分钟增加 60 个实例。事件源映射可以同时处理的最大批处理数量为 1,000。

对于 FIFO 队列，Lambda 按照接收消息的顺序向函数发送消息。向 FIFO 队列发送消息时，需要指定消息组 ID。Amazon SQS 确保同一组中的消息按顺序传递到 Lambda。Lambda 将消息分组，并且每次只为一组发送一个批次。如果函数返回错误，函数会对受影响的消息尝试所有重试，然后 Lambda 才会接收来自同一个组的其他消息。

您的函数可以在并发范围内横向缩减到活动消息组的数量。有关更多信息，请参阅 Amazon 计算博客上的作为事件源的 SQS FIFO。

为 Amazon SQS 事件源配置最大并发

最大并发设置限制了 Amazon SQS 事件源可以调用的函数的并发实例数。最大并发属于事件源级别的设置。如果您将多个 Amazon SQS 事件源映射到一个函数，则每个事件源均可进行单独的最大并发设置。您可以使用最大并发，从而防止某个队列使用函数的所有预留并发或账户的其余并发限额。您可以同时使用最大并发和预留并发，也可以单独使用。

在 Amazon SQS 事件源上配置最大并发不收取任何费用。

您可以在新的和现有的 Amazon SQS 事件源映射上配置最大并发。

使用 Amazon Command Line Interface（Amazon CLI）配置最大并发

使用带 --scaling-config 选项的 update-event-source-mapping 命令。示例：

aws lambda update-event-source-mapping \
    --uuid "a1b2c3d4-5678-90ab-cdef-11111EXAMPLE" \
    --scaling-config '{"MaximumConcurrency":5}'

要关闭最大并发，请为 --scaling-config 输入一个空值：

aws lambda update-event-source-mapping \
    --uuid "a1b2c3d4-5678-90ab-cdef-11111EXAMPLE" \
    --scaling-config "{}"

使用 Lambda API 配置最大并发

将 CreateEventSourceMapping 或 UpdateEventSourceMapping 操作与 ScalingConfig 对象结合使用。

事件源映射 API

要使用 Amazon Command Line Interface（Amazon CLI） 或 Amazon SDK 来管理事件源，可以使用以下 API 操作：

以下示例使用 Amazon CLI 将名为 my-function 的函数映射到由 Amazon Resource Name (ARN) 指定的 Amazon SQS 队列，批处理大小为 5，批处理窗口为 60 秒。

aws lambda create-event-source-mapping --function-name my-function --batch-size 5 \
--maximum-batching-window-in-seconds 60 \
--event-source-arn arn:aws:sqs:us-east-2:123456789012:my-queue

您应看到以下输出：

{
    "UUID": "2b733gdc-8ac3-cdf5-af3a-1827b3b11284",
    "BatchSize": 5,
    "MaximumBatchingWindowInSeconds": 60,
    "EventSourceArn": "arn:aws:sqs:us-east-2:123456789012:my-queue",
    "FunctionArn": "arn:aws:lambda:us-east-2:123456789012:function:my-function",
    "LastModified": 1541139209.351,
    "State": "Creating",
    "StateTransitionReason": "USER_INITIATED"
}

失败调用的回退策略

如果调用失败，Lambda 会在实施回退策略时尝试重试调用。回退策略略有不同，具体取决于 Lambda 的故障原因是函数代码中的错误还是节流所致。

实施部分批处理响应

预设情况下,如果您的 Lambda 函数在处理某个批处理时遇到错误，则该批处理中的所有消息都会在队列中重新可见，包括 Lambda 已经成功处理的消息。因此，您的函数最终可能会多次处理同一消息。

对于处理失败的批处理，要避免重新处理其中已经成功处理的消息，您可以将事件源映射配置为仅使失败的消息重新可见。这称为部分批处理响应。要开启部分批处理响应，请在配置事件源映射时为 FunctionResponseTypes 操作指定 ReportBatchItemFailures。这可以让您的函数返回部分成功，从而有助于减少对记录进行不必要的重试次数。

激活 ReportBatchItemFailures 后，当函数调用失败时，Lambda 不会 缩减消息轮询范围。如果您预计某些消息会失败，并且不希望这些失败影响消息处理速率，请使用 ReportBatchItemFailures。

如果处理失败的事件没有返回到队列，请参阅 Amazon 知识中心中的 如何排查 Lambda 函数 SQS ReportBatchItemFailures 问题？。

成功和失败的条件

如果您的函数返回以下任意一项，则 Lambda 会将批处理视为完全成功：

如果您的函数返回以下任意一项，则 Lambda 会将批处理视为完全失败：

CloudWatch metrics（CloudWatch 指标）

要确定函数是否在正确报告批处理项目失败情况，您可以监控 Amazon CloudWatch 中的 NumberOfMessagesDeleted 和 ApproximateAgeOfOldestMessage Amazon SQS 指标。

Amazon SQS 配置参数

所有 Lambda 事件源类型共享相同的 CreateEventSourceMapping 和 UpdateEventSourceMapping API 操作。但是，只有部分参数适用于 Amazon SQS。