了解如何在 Amazon SQS 中配置死信队列重新驱动 - Amazon Simple Queue Service
使用 Amazon SQS API 为现有标准队列配置死信队列重新驱动使用 Amazon SQS 控制台为现有标准队列配置死信队列重新驱动为死信队列重新驱动配置队列权限 将死信队列重新驱动与 VPC 终端节点访问控制结合使用
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

了解如何在 Amazon SQS 中配置死信队列重新驱动

使用死信队列重新驱动将未使用的消息从死信队列移动到另一个目标进行处理。默认情况下，死信队列重新驱动会将消息从死信队列移动到源队列。但是，您还可以将任何其他队列配置为重新驱动目的地，前提是两个队列属于同一类型。例如，如果死信队列是 FIFO 队列，则重新驱动目的地队列也必须是 FIFO 队列。此外，您可以配置重新驱动速度以设置 Amazon SQS 移动消息的速率。

注意

当消息从 FIFO 队列移动到 FIFO DLQ 时，原始消息的重复数据删除 ID 将替换为原始消息的 ID。这是为了确保 DLQ 重复数据删除不会阻止存储恰好共享重复数据删除 ID 的两条独立消息。

死信队列按接收顺序重新驱动消息，从最旧的消息开始。但是，目标队列会根据接收消息的顺序摄取重新驱动的消息以及来自其他创建者的新消息。例如，如果创建者在向源 FIFO 队列发送消息的同时从死信队列接收重新驱动的消息，则重新驱动的消息将与创建者的新消息交织在一起。

注意

重新驱动任务会重置保留期。所有重新驱动的消息都被视为新消息，并且系统会为其分配新的 messageID 和 enqueueTime。

使用 Amazon SQS API 为现有标准队列配置死信队列重新驱动

您可以使用 StartMessageMoveTask、ListMessageMoveTasks 和 CancelMessageMoveTask API 操作配置死信队列重新驱动：

API 操作 描述

StartMessageMoveTask

启动异步任务，将消息从指定的源队列移动到指定的目标队列。

ListMessageMoveTasks

获取特定源队列下的最新消息移动任务（最多 10 个）。

CancelMessageMoveTask

取消指定的消息移动任务。只有在当前状态为“正在运行”时，才能取消消息移动。

使用 Amazon SQS 控制台为现有标准队列配置死信队列重新驱动

  1. 打开 Amazon SQS 控制台，网址为。https://console.aws.amazon.com/sqs/

  2. 在导航窗格中，选择 Queues (队列)。

  3. 选择已配置为死信队列的队列名称。

  4. 选择开始 DLQ 重新驱动。

  5. 在重新驱动配置下，对于消息目标，执行以下任一操作：

    • 要将消息重新驱动到其源队列，请选择重新驱动到源队列。

    • 要将消息重新驱动到其他队列，请选择驱动到自定义目标。然后，输入现有目标队列的 Amazon 资源名称 (ARN)。

  6. 在速度控制设置下，选择以下一个选项：

    • 系统优化 - 以每秒最大消息数重新驱动死信队列消息。

    • 自定义最大速度 - 使用自定义每秒最大消息速率重新驱动死信队列消息。允许的最大速率为每秒 500 条消息。

      • 建议从“自定义最大速度”的较小值开始，并验证源队列不会被消息淹没。在这里，逐渐增加“自定义最大速度”值，继续监控源队列的状态。

  7. 配置完死信队列重新驱动后，选择重新驱动消息。

    重要

    Amazon SQS 不支持在将消息从死信队列中重新驱动时筛选和修改消息。

    死信队列重新驱动任务最多可以运行 36 小时。Amazon SQS 支持每个账户最多 100 个活跃的重新驱动任务。

  8. 如果要取消消息重新驱动任务，请在队列的详细信息页面上，选择取消 DLQ 重新驱动。取消正在进行的消息重新驱动时，任何已经成功移至其移动目标队列的消息都将保留在目标队列中。

为死信队列重新驱动配置队列权限

您可以通过向策略添加权限来授予用户访问特定死信队列操作的权限。死信队列重新驱动所需的最低权限如下：

最小权限 必需的 API 方法
启动消息重新驱动

  • 添加死信队列的 sqs:StartMessageMoveTask、sqs:ReceiveMessage、sqs:DeleteMessage 和 sqs:GetQueueAttributes。如果死信队列或原始源队列经过加密（也称为 SSE 队列），则还需要使用已用于加密消息的任何 KMS 密钥的 kms:Decrypt。

  • 添加目标队列的 sqs:SendMessage。如果目标队列已加密，则还需要 kms:GenerateDataKey 和 kms:Decrypt。
取消进行中的消息重新驱动

  • 添加死信队列的 sqs:CancelMessageMoveTask、sqs:ReceiveMessage、sqs:DeleteMessage 和 sqs:GetQueueAttributes。如果死信队列已加密（也称为 SSE 队列），则还需要 kms:Decrypt。
显示消息移动状态

  • 添加死信队列的 sqs:ListMessageMoveTasks 和 sqs:GetQueueAttributes。
为加密队列对（带有死信队列的源队列）配置权限

使用以下步骤配置死信队列 (DLQ) 重新驱动的最低权限：

  1. 使用 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航窗格中，单选择 Policies。

  3. 创建新策略并添加以下权限。将策略附加到将执行重新驱动操作的 IAM 用户或角色。

    • DLQ（源队列）的权限：

      • sqs:StartMessageMoveTask

      • sqs:CancelMessageMoveTask

      • sqs:ListMessageMoveTasks

      • sqs:ReceiveMessage

      • sqs:DeleteMessage

      • sqs:GetQueueAttributes

      • sqs:ListDeadLetterSourceQueues

      • 指定 DLQ（源队列）的资源 ARN（例如，“arn: aws: sqs:::”）。<DLQ_region> <DLQ_accountId> <DLQ_name>

    • 目标队列的权限：

      • sqs:SendMessage

      • 指定目标队列Resource ARN的（例如，“arn: aws: sqs:”）。<DestQueue_region>:<DestQueue_accountId>:<DestQueue_name>

    • KMS 密钥的权限：

      • kms:Decrypt（需要解密 DLQ 中的消息。）

      • kms:GenerateDataKey（需要对目标队列中的消息进行加密。）

        • Resource ARNs:

          • 用于加密 DLQ（源队列）中消息的 KMS 密钥的 ARN（例如，“arn: aws: kms::: key/”）。<region> <accountId> <SourceQueueKeyId>

          • 用于加密目标队列中消息的 KMS 密钥的 ARN（例如，“arn: aws: kms:: kms:: key/”）。<region> <accountId> <DestinationQueueKeyId>

    访问策略应类似下文：

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sqs:StartMessageMoveTask",
                "sqs:CancelMessageMoveTask",
                "sqs:ListMessageMoveTasks",
                "sqs:ReceiveMessage",
                "sqs:DeleteMessage",
                "sqs:GetQueueAttributes",
                "sqs:ListDeadLetterSourceQueues"
            ],
            "Resource": "arn:aws:sqs:<DLQ_region>:<DLQ_accountId>:<DLQ_name>",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/QueueRole": "source"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": "sqs:SendMessage",
            "Resource": "arn:aws:sqs:<DestQueue_region>:<DestQueue_accountId>:<DestQueue_name>",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/QueueRole": "destination"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:GenerateDataKey"
            ],
            "Resource": [
                "arn:aws:kms:<region>:<accountId>:key/<SourceQueueKeyId>",
                "arn:aws:kms:<region>:<accountId>:key/<DestQueueKeyId>"
            ]
        }
    ]
}
使用非加密队列对（带有死信队列的源队列）配置权限

按照以下步骤配置处理标准的未加密死信队列 (DLQ) 所需的最低权限。所需的最低权限包括：从死信队列中接收、删除和获取属性，以及向源队列发送属性。

  1. 使用 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在导航窗格中，单选择 Policies。

  3. 创建新策略并添加以下权限。将策略附加到将执行重新驱动操作的 IAM 用户或角色。

    • DLQ（源队列）的权限：

      • sqs:StartMessageMoveTask

      • sqs:CancelMessageMoveTask

      • sqs:ListMessageMoveTasks

      • sqs:ReceiveMessage

      • sqs:DeleteMessage

      • sqs:ListDeadLetterSourceQueues

      • 指定 DLQ（源队列）的资源 ARN（例如，“arn: aws: sqs:::”）。<DLQ_region> <DLQ_accountId> <DLQ_name>

    • 目标队列的权限：

      • sqs:SendMessage

      • 指定目标队列Resource ARN的（例如，“arn: aws: sqs:”）。<DestQueue_region>:<DestQueue_accountId>:<DestQueue_name>

    访问策略应类似下文：

    JSON
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "sqs:StartMessageMoveTask",
                "sqs:CancelMessageMoveTask",
                "sqs:ListMessageMoveTasks",
                "sqs:ReceiveMessage",
                "sqs:DeleteMessage",
                "sqs:GetQueueAttributes",
                "sqs:ListDeadLetterSourceQueues"
            ],
            "Resource": "arn:aws:sqs:<DLQ_region>:<DLQ_accountId>:<DLQ_name>",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/QueueRole": "source"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": "sqs:SendMessage",
            "Resource": "arn:aws:sqs:<DestQueue_region>:<DestQueue_accountId>:<DestQueue_name>",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/QueueRole": "destination"
                }
            }
        }
    ]
}

将死信队列重新驱动与 VPC 终端节点访问控制结合使用

当 VPCs 使用aws:sourceVpc条件将队列访问权限限制为特定队列时，需要将 Amazon 服务设为例外才能启用死信队列 (DLQ) 重新驱动功能。这是因为在移动消息时，Amazon SQS 服务会在您的 VPC 之外运行。

要允许 DLQ 重新驱动操作，请将aws:CalledViaLast条件添加到您的队列策略中。这允许 Amazon SQS 代表您进行 API 调用，同时保持对直接访问的 VPC 限制。

要同时允许 VPC 限制访问和 DLQ 重新驱动，请执行以下操作：

  1. 在队列策略中使用aws:CalledViaLast条件。

  2. 将策略应用于源队列和 DLQ

  3. 保持 VPC 限制，允许从其他来源直接访问

以下是实现这些要求的策略示例：

{
  "Version": "2012-10-17",
  "Id": "SQSRedriveWithVpcRestriction",
  "Statement": [
    {
      "Sid": "DenyOutsideVPCUnlessAWSService_DestQueue",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "sqs:*",
      "Resource": "arn:aws:sqs:*:111122223333:DestQueue",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpc": "vpc-1234567890abcdef0"
        },
        "StringNotEqualsIfExists": { 
          "aws:CalledViaLast": "sqs.amazonaws.com"
        }
      }
    },
    {
      "Sid": "DenyOutsideVPCUnlessAWSService_DLQ",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "sqs:*",
      "Resource": "arn:aws:sqs:*:111122223333:Dlq",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpc": "vpc-1234567890abcdef0"
        },
        "StringNotEqualsIfExists": { 
          "aws:CalledViaLast": "sqs.amazonaws.com"
        }
      }
    }
  ]
}

  • 将占位符值替换为实际值

  • 此策略使用带条件的 “拒绝” 语句，这比使用 “允许” 语句更安全

  • 该StringNotEqualsIfExists运算符处理请求上下文中可能不存在条件键的情况。

或者，您可以使用aws:ViaAWSService条件密钥允许基于服务的访问，同时保持 VPC 限制。此条件键表示请求是否来自 Amazon 服务。以下是使用aws:ViaAWSService代替以下内容的策略示例aws:CalledViaLast：

{
  "Version": "2012-10-17",
  "Id": "SQSRedriveWithVpcRestriction",
  "Statement": [
    {
      "Sid": "DenyOutsideVPCUnlessAWSService_DestQueue",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "sqs:*",
      "Resource": "arn:aws:sqs:*:111122223333:DestQueue",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpc": "vpc-1234567890abcdef0"
        },
        "BoolIfExists": {
          "aws:ViaAWSService": "false"
        }
      }
    },
    {
      "Sid": "DenyOutsideVPCUnlessAWSService_DLQ",
      "Effect": "Deny",
      "Principal": "*",
      "Action": "sqs:*",
      "Resource": "arn:aws:sqs:*:111122223333:Dlq",
      "Condition": {
        "StringNotEquals": {
          "aws:SourceVpc": "vpc-1234567890abcdef0"
        },
        "BoolIfExists": {
          "aws:ViaAWSService": "false"
        }
      }
    }
  ]
}

带aws:ViaAWSService条件的 BoolIfExists 操作员可确保允许来自服务的请求，同时保持 VPC 对直接访问的限制。这可能更易于理解和维护，因为它直接检查请求是否由 Amazon 服务发出，而不是检查上次呼叫的是哪个服务。

有关 IAM 和资源策略中使用的条件键的更多信息，请参阅 IAM JSON 策略元素：条件。