Amazon Secrets Manager 轮换问题排查

1. 分析 CloudWatch 日志：

   • 在 Lambda 函数日志中查找特定的错误消息或意外行为

   • 验证是否正在尝试所有旋转步骤（CreateSecretSetSecretTestSecret、、、FinishSecret）

2. 在轮换期间查看 API 调用：

   • 避免在 Lambda 轮换期间对密钥进行变更 API 调用

   • 确保RotateSecret和PutSecretValue通话之间没有竞争条件

3. 验证 Lambda 函数逻辑：

   • 确认你使用的是最新的密钥轮换 Amazon 示例代码

   • 如果使用自定义代码，请查看它以正确处理所有轮换步骤

4. 检查网络配置：

   • 验证安全组规则是否允许 Lambda 函数访问数据库

   • 确保 Secrets Manager 能够正确访问 VPC 终端节点或公有终端节点

5. 测试密钥版本：

   • 验证密钥的 AWSCURRENT 版本是否允许访问数据库

   • 检查 AWSPREVIOUS 或 AWSPENDING 版本是否有效

6. 清除待处理的轮换：

   • 如果轮换一直失败，请清除 AWSPENDING 暂存标签并重试轮换

7. 检查 Lambda 并发设置：

   • 验证并发设置是否适合您的工作负载

   • 如果您怀疑存在并发问题，请参阅 “解决与并发相关的轮换故障” 部分

查找使用 Python 3.7 的 Lambda 轮换函数

1. 登录 Amazon Web Services Management Console 并打开 Amazon Lambda 控制台，网址为https://console.aws.amazon.com/lambda/。

2. 在函数列表中，筛选 SecretsManager。

3. 在筛选后的函数列表中，在运行时系统下，查找 Python 3.7。

查找创建了轮换函数的 Amazon CloudFormation 堆栈

• 在 Lambda 函数的详细信息页面的配置选项卡上，选择标签。查看 aws:cloudformation:stack-id 旁的 ARN。

  堆栈名称已嵌入在 ARN 中，如下例所示。

  • ARN：arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

  • 堆栈名称：SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

重新创建轮换函数（Amazon CloudFormation）

1. 在中 Amazon CloudFormation，按名称搜索堆栈，然后选择更新。

   如果出现建议您更新根堆栈的对话框，请选择转到根堆栈，然后选择更新。

2. 在更新堆栈页面上的准备模板下，选择在应用程序编辑器中编辑，然后在在应用程序编辑器中编辑模板下，选择在应用程序编辑器中编辑按钮。

3. 在应用程序编辑器中，执行以下操作：

   1. 在模板代码中，在 SecretRotationScheduleHostedRotationLambda 中将 "functionName": "SecretsManagerTestRotationRDS" 的值替换为新的函数名称，例如在 JSON 中为 "functionName": "SecretsManagerTestRotationRDSupdated"

   2. 选择更新模板。

   3. 在继续使用 Amazon CloudFormation 对话框中，选择确认并继续使用 Amazon CloudFormation。

4. 继续完成 Amazon CloudFormation 堆栈工作流，然后选择提交。

查找创建了轮换函数的 Amazon CloudFormation 堆栈

• 在 Lambda 函数的详细信息页面的配置选项卡上，选择标签。查看 aws:cloudformation:stack-id 旁的 ARN。

  堆栈名称已嵌入在 ARN 中，如下例所示。

  • ARN：arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

  • 堆栈名称：SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

更新轮换函数的运行时系统（Amazon CloudFormation）

1. 在中 Amazon CloudFormation，按名称搜索堆栈，然后选择更新。

   如果出现建议您更新根堆栈的对话框，请选择转到根堆栈，然后选择更新。

2. 在更新堆栈页面上的准备模板下，选择在应用程序编辑器中编辑，然后在在应用程序编辑器中编辑模板下，选择在应用程序编辑器中编辑按钮。

3. 在应用程序编辑器中，执行以下操作：

   1. 在模板 JSON 中，对于 SecretRotationScheduleHostedRotationLambda，在 Properties 下的 Parameters 下方，添加 "runtime": "python3.9"。

   2. 选择更新模板。

   3. 在继续使用 Amazon CloudFormation 对话框中，选择确认并继续使用 Amazon CloudFormation。

4. 继续完成 Amazon CloudFormation 堆栈工作流，然后选择提交。

更新 Lambda 旋转函数以包括 RotationToken

1. 下载 Lambda 函数代码

   • 打开 Lambda 控制台

   • 在导航窗格中，选择函数

   • 为函数名称选择您的 Lambda 密钥轮换函数

   • 在 “下载” 中，选择函数代码.zip、Amazon SAM 文件、两者中的一个

   • 选择 “确定” 将该功能保存在本地计算机上。

2. 编辑 Lambda_handler

   在跨账户轮换的 create_secret 步骤中加入 rotation_token 参数：

   
   def lambda_handler(event, context):
       """Secrets Manager Rotation Template
   
       This is a template for creating an AWS Secrets Manager rotation lambda
   
       Args:
           event (dict): Lambda dictionary of event parameters. These keys must include the following:
               - SecretId: The secret ARN or identifier
               - ClientRequestToken: The ClientRequestToken of the secret version
               - Step: The rotation step (one of createSecret, setSecret, testSecret, or finishSecret)
               - RotationToken: the rotation token to put as parameter for PutSecretValue call
   
           context (LambdaContext): The Lambda runtime information
   
       Raises:
           ResourceNotFoundException: If the secret with the specified arn and stage does not exist
   
           ValueError: If the secret is not properly configured for rotation
   
           KeyError: If the event parameters do not contain the expected keys
   
       """
       arn = event['SecretId']
       token = event['ClientRequestToken']
       step = event['Step']
       # Add the rotation token
       rotation_token = event['RotationToken']
   
       # Setup the client
       service_client = boto3.client('secretsmanager', endpoint_url=os.environ['SECRETS_MANAGER_ENDPOINT'])
   
       # Make sure the version is staged correctly
       metadata = service_client.describe_secret(SecretId=arn)
       if not metadata['RotationEnabled']:
           logger.error("Secret %s is not enabled for rotation" % arn)
           raise ValueError("Secret %s is not enabled for rotation" % arn)
       versions = metadata['VersionIdsToStages']
       if token not in versions:
           logger.error("Secret version %s has no stage for rotation of secret %s." % (token, arn))
           raise ValueError("Secret version %s has no stage for rotation of secret %s." % (token, arn))
       if "AWSCURRENT" in versions[token]:
           logger.info("Secret version %s already set as AWSCURRENT for secret %s." % (token, arn))
           return
       elif "AWSPENDING" not in versions[token]:
           logger.error("Secret version %s not set as AWSPENDING for rotation of secret %s." % (token, arn))
           raise ValueError("Secret version %s not set as AWSPENDING for rotation of secret %s." % (token, arn))
       # Use rotation_token
       if step == "createSecret":
           create_secret(service_client, arn, token, rotation_token)
   
       elif step == "setSecret":
           set_secret(service_client, arn, token)
       
       elif step == "testSecret":
           test_secret(service_client, arn, token)
           
       elif step == "finishSecret":
           finish_secret(service_client, arn, token)
           
       else:
           raise ValueError("Invalid step parameter")            
             

3. 编辑create_secret代码

   修改create_secret函数以接受并使用以下rotation_token参数：

   
   # Add rotation_token to the function
   def create_secret(service_client, arn, token, rotation_token):
   """Create the secret
   
   This method first checks for the existence of a secret for the passed in token. If one does not exist, it will generate a
   new secret and put it with the passed in token.
   
   Args:
   service_client (client): The secrets manager service client
   
   arn (string): The secret ARN or other identifier
   
   token (string): The ClientRequestToken associated with the secret version
   
   rotation_token (string): the rotation token to put as parameter for PutSecretValue call
   
   Raises:
   ResourceNotFoundException: If the secret with the specified arn and stage does not exist
   
   """
   # Make sure the current secret exists
   service_client.get_secret_value(SecretId=arn, VersionStage="AWSCURRENT")
   
   # Now try to get the secret version, if that fails, put a new secret
   try:
   service_client.get_secret_value(SecretId=arn, VersionId=token, VersionStage="AWSPENDING")
   logger.info("createSecret: Successfully retrieved secret for %s." % arn)
   except service_client.exceptions.ResourceNotFoundException:
   # Get exclude characters from environment variable
   exclude_characters = os.environ['EXCLUDE_CHARACTERS'] if 'EXCLUDE_CHARACTERS' in os.environ else '/@"\'\\'
   # Generate a random password
   passwd = service_client.get_random_password(ExcludeCharacters=exclude_characters)
   
   # Put the secret, using rotation_token
   service_client.put_secret_value(SecretId=arn, ClientRequestToken=token, SecretString=passwd['RandomPassword'], VersionStages=['AWSPENDING'], RotationToken=rotation_token)
   logger.info("createSecret: Successfully put secret for ARN %s and version %s." % (arn, token))
             

4. 上传更新的 Lambda 函数代码

   更新您的 Lambda 函数代码后，将其上传以轮换您的密钥。

1. 检查并调整 Lambda 并发设置：

   • 验证reserved_concurrent_executions是否设置得太低（例如，1）

   • 如果使用预留并发，请将其设置为至少 10

   • 考虑使用未预留的并发以获得更大的灵活性

2. 对于预配置并发：

   • 不要显式设置预配置的并发参数（例如，在 Terraform 中）。

   • 如果必须进行设置，请使用至少 10 的值。

   • 彻底测试以确保所选值适用于您的用例。

3. 监控和调整并发度：

   • 使用以下公式计算并发度：并发度 =（每秒平均请求数）*（以秒为单位的平均请求持续时间）。有关更多信息，请参阅估算预留并发量。

   • 观察并记录轮换期间的值，以确定适当的并发设置。

   • 设置低并发值时要小心。如果没有足够的可用执行线程，它们可能会导致限制。