Amazon Secrets Manager 轮换问题排查 - Amazon Secrets Manager
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Secrets Manager 轮换问题排查

对于许多服务,Secrets Manager 使用 Lambda 函数来轮换密钥。有关更多信息,请参阅 通过 Lambda 函数进行轮换。Lambda 轮换函数与拥有密钥的数据库或服务以及 Secrets Manager 交互。如果轮换没有按预期方式运行,应先检查 CloudWatch 日志。

注意

某些服务可以为您管理密钥,包括管理自动轮换。有关更多信息,请参阅 Amazon Secrets Manager 密钥的托管轮换

检查您的 Lambda 函数的 CloudWatch 日志
  1. 打开 Secrets Manager 控制台,网址为 https://console.aws.amazon.com/secretsmanager/

  2. 选择您的密钥,然后在详细信息页面上的 Rotation configuration(轮换配置)下,选择 Lambda 轮换函数。Lambda 控制台将打开。

  3. 监控选项卡上,选择日志,然后选择查看 CloudWatch 中的日志

    将打开 CloudWatch 控制台并显示您的函数的日志。

“在环境变量中找到凭证”之后没有活动

如果“在环境变量中找到凭证”之后没有活动,并且任务持续时间很长,例如默认 Lambda 超时为 30000 毫秒,则 Lambda 函数可能会在尝试访问 Secrets Manager 端点时超时。

Lambda 轮换功能必须能够访问 Secrets Manager 端点。如果您的 Lambda 函数可以访问互联网,则可以使用公共终端节点。若要查找端点,请参阅 Amazon Secrets Manager 端点

如果您的 Lambda 函数在不具备互联网访问权限的 VPC 中运行,我们建议您在 VPC 内配置 Secrets Manager 服务私有终端节点。然后,您的 VPC 可以拦截发往公共区域终端节点的请求并将其重定向到私有终端节点。有关更多信息,请参阅 VPC 端点

或者,您可以通过向 VPC 添加 NAT 网关互联网网关(这将允许来自您 VPC 的流量访问公有端点),允许 Lambda 函数访问 Secrets Manager 公有端点。这会使 VPC 面临一定的风险,因为网关的 IP 地址可能会受到来自公有 Internet 的攻击。

“createSecret”之后没有活动

以下问题可能会在 createSecret 之后导致轮换停止:

VPC 网络 ACL 不允许 HTTPS 流量进出。

有关更多信息,请参阅《Amazon VPC 用户指南》中的使用网络 ACL 控制指向子网的流量

Lambda 函数超时配置过短,无法执行任务。

有关更多信息,请参阅《Amazon Lambda 开发人员指南》中的配置 Lambda 函数选项

Secrets Manager VPC 端点不允许在分配的安全组入口处使用 VPC CIDR。

有关更多信息,请参阅《Amazon VPC 用户指南》中的使用安全组控制到资源的流量

Secrets Manager VPC 端点策略不允许 Lambda 使用 VPC 端点。

有关更多信息,请参阅 使用 Amazon Secrets Manager VPC 终端节点

该密钥使用交替用户轮换策略,超级用户密钥由 Amazon RDS 管理,并且 Lambda 函数无法访问 RDS API。

对于超级用户秘密由其他 Amazon 服务管理交替用户轮换,Lambda 轮换函数必须能够调用服务端点以获取数据库连接信息。我们建议您为数据库服务配置 VPC 端点。有关更多信息,请参阅:

错误:“不允许访问 KMS”

如果您看到 ClientError: An error occurred (AccessDeniedException) when calling the GetSecretValue operation: Access to KMS is not allowed,则轮换函数无权使用密钥加密所用的 KMS 密钥来将密钥解密。权限策略中可能存在将加密上下文限定为特定密钥的条件。有关所需权限的信息,请参阅 适用于客户托管密钥的策略语句

错误:“Key is missing from secret JSON(密钥 JSON 中缺少密钥)”

Lambda 轮换函数要求密钥值采用特定的 JSON 结构。如果显示此错误,则 JSON 可能缺少轮换函数尝试访问的密钥。有关每种密钥类型的 JSON 结构的信息,请参阅 Amazon Secrets Manager 密钥的 JSON 结构

错误:“setSecret: Unable to log into database(setSecret:无法登录数据库)”

以下问题可能导致此错误:

轮换函数无法访问数据库。

如果任务持续时间过长,例如超过 5000 毫秒,则 Lambda 轮换函数可能无法通过网络访问数据库。

如果数据库或服务在 VPC 中的 Amazon EC2 实例上运行,建议将 Lambda 函数配置为在同一 VPC 中运行。然后轮换功能可以直接与您的服务通信。有关更多信息,请参阅配置 VPC 访问

要允许 Lambda 函数访问数据库或服务,您必须确保附加到 Lambda 轮换函数的安全组允许与数据库或服务的出站连接。您还必须确保附加到数据库或服务的安全组允许来自 Lambda 轮换函数进行入站连接。

密钥中的凭证有误。

如果任务持续时间过短,则 Lambda 轮换函数可能无法使用密钥中的凭证进行身份验证。借助 Amazon CLI 命令 get-secret-value 使用密钥的 AWSCURRENTAWSPREVIOUS 版本中的信息手动登录,以检查凭证。

数据库使用 scram-sha-256 加密密码。

如果您的数据库是 Aurora PostgreSQL 版本 13 或更高版本,并且使用 scram-sha-256 加密密码,但轮换函数使用不支持 scram-sha-256libpq 版本 9 或更旧版本,则轮换函数无法连接到数据库。

确定哪些数据库用户使用 scram-sha-256 加密
确定您的轮换函数使用哪个 libpq 版本
  1. 在基于 Linux 的计算机上,在 Lambda 控制台上导航到您的轮换函数并下载部署包。将 zip 文件解压缩到工作目录中。

  2. 在命令行上,在工作目录中运行:

    readelf -a libpq.so.5 | grep RUNPATH

  3. 如果看到字符串 PostgreSQL-9.4.x 或任何低于 10 的主要版本,则轮换函数不支持 scram-sha-256

    • 不支持 scram-sha-256 的轮换函数的输出:

      0x000000000000001d (RUNPATH) Library runpath: [/local/p4clients/pkgbuild-a1b2c/workspace/build/PostgreSQL/PostgreSQL-9.4.x_client_only.123456.0/AL2_x86_64/DEV.STD.PTHREAD/build/private/tmp/brazil-path/build.libfarm/lib:/local/p4clients/pkgbuild-a1b2c/workspace/src/PostgreSQL/build/private/install/lib]

    • 支持 scram-sha-256 的轮换函数的输出:

      0x000000000000001d (RUNPATH) Library runpath: [/local/p4clients/pkgbuild-a1b2c/workspace/build/PostgreSQL/PostgreSQL-10.x_client_only.123456.0/AL2_x86_64/DEV.STD.PTHREAD/build/private/tmp/brazil-path/build.libfarm/lib:/local/p4clients/pkgbuild-a1b2c/workspace/src/PostgreSQL/build/private/install/lib]

注意

如果您在 2021 年 12 月 30 日之前设置了自动密钥轮换,则轮换函数捆绑了不支持 scram-sha-256 的旧版本 libpq。为了支持 scram-sha-256,您需要重新创建您的轮换函数

数据库需要 SSL/TLS 访问权限。

如果您的数据库需要 SSL/TLS 连接,但轮换函数使用了未加密的连接,则轮换函数无法连接到数据库。适用于 Amazon RDS(Oracle 和 Db2 除外)和 Amazon DocumentDB 的轮换函数将自动使用安全套接字层 (SSL) 或传输层安全性协议 (TLS) 来连接到数据库(如果可用)。否则,他们将使用未加密的连接。

注意

如果您在 2021 年 12 月 20 日之前设置了自动密钥轮换,则您的轮换函数可能基于不支持 SSL/TLS 的较旧模板。为了支持使用 SSL/TLS 的连接,您需要重新创建您的轮换函数

确定您的轮换函数的创建时间
  1. 在 Secrets Manager 控制台 https://console.aws.amazon.com/secretsmanager/ 中,打开您的密钥。在 Rotation configuration(轮换配置)中的 Lambda rotation function(Lambda 轮换函数)下,您将看到 Lambda function ARN(Lambda 函数 ARN),例如,arn:aws:lambda:aws-region:123456789012:function:SecretsManagerMyRotationFunction 。在此示例 SecretsManagerMyRotationFunction 中,从 ARN 末尾复制函数名称。

  2. 在 Amazon Lambda 控制台 https://console.aws.amazon.com/lambda/ 中的 Functions(函数)下,将您的 Lambda 函数名称粘贴到搜索框中,按 Enter 键,然后选择相应的 Lambda 函数。

  3. 在函数详细信息页面中,在 Configuration(配置)选项卡上的 Tags(标签)下,复制键 aws:cloudformation:stack-name 旁边的值。

  4. 在 Amazon CloudFormation 控制台 https://console.aws.amazon.com/cloudformation 中的 Stacks(堆栈)下,将键值粘贴在搜索框中,然后按 Enter 键。

  5. 堆栈列表将进行筛选,以便只显示创建 Lambda 轮换函数的堆栈。在 Created date(创建日期)列中,查看堆栈的创建日期。这是 Lambda 轮换函数的创建日期。

错误:“无法导入模块‘lambda_function’”

如果您运行的是早期版本的 Lambda 函数,且该函数是从 Python 3.7 自动升级到更新版本的 Python 的,则可能会遇到此错误。要解决此错误,您可以将 Lambda 函数版本改回 Python 3.7,然后 将现有的轮换函数版本从 Python 3.7 升级到 Python 3.9。要了解更多信息,请参阅 Amazon re:Post 中的 为什么我的 Secrets Manager Lambda 函数轮换失败并出现“找不到 pg 模块”错误?

将现有的轮换函数版本从 Python 3.7 升级到 Python 3.9

2022 年 11 月之前创建的部分轮换函数使用 Python 3.7。适用于 Python 的 Amazon SDK 已于 2023 年 12 月停止支持 Python 3.7。有关更多信息,请参阅 Python support policy updates for Amazon SDKs and Tools。要切换到使用 Python 3.9 的新轮换函数,可以在现有轮换函数中添加运行时系统属性或重新创建轮换函数。

查找使用 Python 3.7 的 Lambda 轮换函数
  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Amazon Lambda 控制台:https://console.aws.amazon.com/lambda/

  2. 函数列表中,筛选 SecretsManager

  3. 在筛选后的函数列表中,在运行时系统下,查找 Python 3.7。

选项 1:使用 Amazon CloudFormation 重新创建轮换函数

当您使用 Secrets Manager 控制台开启轮换功能时,Secrets Manager 会使用 Amazon CloudFormation 创建必要的资源,包括 Lambda 轮换函数。如果您使用控制台开启轮换功能,或者使用 Amazon CloudFormation 堆栈创建了轮换函数,则可以使用相同的 Amazon CloudFormation 堆栈重新创建具有新名称的轮换函数。新函数将使用最新版本的 Python。

查找创建了轮换函数的 Amazon CloudFormation 堆栈
  • 在 Lambda 函数的详细信息页面的配置选项卡上,选择标签。查看 aws:cloudformation:stack-id 旁的 ARN。

    堆栈名称已嵌入在 ARN 中,如下例所示。

    • ARN:arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

    • 堆栈名称:SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

重新创建轮换函数(Amazon CloudFormation)
  1. 在 Amazon CloudFormation 中,按名称搜索堆栈,然后选择更新

    如果出现建议您更新根堆栈的对话框,请选择转到根堆栈,然后选择更新

  2. 更新堆栈页面上的准备模板下,选择在应用程序编辑器中编辑,然后在在应用程序编辑器中编辑模板下,选择在应用程序编辑器中编辑按钮。

  3. 在应用程序编辑器中,执行以下操作:

    1. 在模板代码中,在 SecretRotationScheduleHostedRotationLambda 中将 "functionName": "SecretsManagerTestRotationRDS" 的值替换为新的函数名称,例如在 JSON 中为 "functionName": "SecretsManagerTestRotationRDSupdated"

    2. 选择更新模板

    3. 继续使用 Amazon CloudFormation 对话框中,选择确认并继续使用 Amazon CloudFormation

  4. 继续完成 Amazon CloudFormation 堆栈工作流,然后选择提交

选项 2:使用 Amazon CloudFormation 更新现有轮换函数的运行时系统

当您使用 Secrets Manager 控制台开启轮换功能时,Secrets Manager 会使用 Amazon CloudFormation 创建必要的资源,包括 Lambda 轮换函数。如果您使用控制台开启轮换功能,或者使用 Amazon CloudFormation 堆栈创建了轮换函数,则可以使用相同的 Amazon CloudFormation 堆栈更新轮换函数的运行时系统。

查找创建了轮换函数的 Amazon CloudFormation 堆栈
  • 在 Lambda 函数的详细信息页面的配置选项卡上,选择标签。查看 aws:cloudformation:stack-id 旁的 ARN。

    堆栈名称已嵌入在 ARN 中,如下例所示。

    • ARN:arn:aws:cloudformation:us-west-2:408736277230:stack/SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda-3CUDHZMDMBO8/79fc9050-2eef-11ed-80f0-021fb13c0537

    • 堆栈名称:SecretsManagerRDSMySQLRotationSingleUser5c2-SecretRotationScheduleHostedRotationLambda

更新轮换函数的运行时系统(Amazon CloudFormation)
  1. 在 Amazon CloudFormation 中,按名称搜索堆栈,然后选择更新

    如果出现建议您更新根堆栈的对话框,请选择转到根堆栈,然后选择更新

  2. 更新堆栈页面上的准备模板下,选择在应用程序编辑器中编辑,然后在在应用程序编辑器中编辑模板下,选择在应用程序编辑器中编辑按钮。

  3. 在应用程序编辑器中,执行以下操作:

    1. 在模板 JSON 中,对于 SecretRotationScheduleHostedRotationLambda,在 Properties 下的 Parameters 下方,添加 "runtime": "python3.9"

    2. 选择更新模板

    3. 继续使用 Amazon CloudFormation 对话框中,选择确认并继续使用 Amazon CloudFormation

  4. 继续完成 Amazon CloudFormation 堆栈工作流,然后选择提交

选项 3:Amazon CDK 用户升级 CDK 库

如果您使用 v2.94.0 之前版本的 Amazon CDK 设置了密钥轮换,则可以通过升级到 v2.94.0 或更高版本来更新 Lambda 函数。有关更多信息,请参见 Amazon Cloud Development Kit (Amazon CDK) v2 开发人员指南