排查 EC2/本地部署问题 - Amazon CodeDeploy
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

排查 EC2/本地部署问题

注意

通过查看部署过程中创建的日志文件可以确定很多部署失败的原因。为简单起见,我们建议使用 Amazon Log CloudWatch s 来集中监控日志文件,而不是逐个实例查看它们。有关信息,请参阅在 CodeDeploy 日志控制台中查看 CloudWatch 日志

提示

有关自动执行与 EC2/本地部署相关的许多故障排除任务的运行手册,请参阅 S TroubleshootCodeDeploy ystems Manager Automation 运行手册参考Amazon 中的 AWSSupport -

CodeDeploy 插件 CommandPoller缺少凭据错误

如果您收到类似于 InstanceAgent::Plugins::CodeDeployPlugin::CommandPoller: Missing credentials - please check if this instance was started with an IAM instance profile 的错误,可能是由于下列原因之一导致:

  • 您要部署的实例没有与之关联的 IAM 实例配置文件。

  • 您的 IAM 实例配置文件没有配置正确的权限。

IAM 实例配置文件授予 CodeDeploy 代理与 Amazon S3 通信 CodeDeploy以及从 Amazon S3 下载您的修订版的权限。对于 EC2 实例,请参阅 适用于 Amazon CodeDeploy的身份和访问管理。对于本地实例,请参阅Working with On-Premises Instances

部署失败,显示消息“PKCS7 签名的消息验证失败”

此错误消息表示实例运行的 CodeDeploy 代理版本仅支持 SHA-1 哈希算法。2015 年 11 月发布的 CodeDeploy 代理版本 1.0.1.854 中引入了对 SHA-2 哈希算法的支持。自 2016 年 10 月 17 日起,如果安装的 CodeDeploy 代理版本低于 1.0.1.854,则部署将失败。有关更多信息,请参阅Amazon 要切换到 SSL 证书的 SHA256 哈希算法,注意:停用早于 1.0.1.85 版本 CodeDeploy 的主机代理,以及。更新代 CodeDeploy 理

将相同的文件部署或重新部署到相同的实例位置失败,出现错误“The deployment failed because a specified file already exists at this location”

当 CodeDeploy 尝试将文件部署到实例,但指定的目标位置已存在同名文件时,部署到该实例可能会失败。您可能会收到错误消息“The deployment failed because a specified file already exists at this location: location-name.” 这是因为,在每次部署期间, CodeDeploy 首先会删除先前部署中的所有文件,这些文件列在清理日志文件中。如果目标安装文件夹中存在未在此清理文件中列出的文件,则默认情况下, CodeDeploy 代理会将其解释为错误并导致部署失败。

注意

在 Amazon Linux、RHEL 和 Ubuntu Server 实例上,清理文件位于 /opt/codedeploy-agent/deployment-root/deployment-instructions/。在 Windows Server 实例上,此位置为 C:\ProgramData\Amazon\CodeDeploy\deployment-instructions\

避免此错误的最简单方式是,指定默认行为之外的选项以使部署失败。对于每个部署,您可以选择是使部署失败、覆盖清除文件中未列出的文件,还是保留实例上已有的文件。

覆盖选项在以下情况下很有用:您在上一个部署后手动将文件放置在实例上,然后将一个同名文件添加到下一个应用程序修订。

您可以为您在要成为下一部署的一部分的实例上放置的文件选择保留选项,而无需将这些文件添加到应用程序修订包。如果您的应用程序文件已存在于生产环境中,并且您想首次使用 CodeDeploy 进行部署,则保留选项也很有用。有关更多信息,请参阅 创建 EC2/本地计算平台部署(控制台)现有内容的回滚行为

排查 The deployment failed because a specified file already exists at this location 部署错误

如果您选择不指定覆盖或保留在目标部署位置 CodeDeploy检测到的内容的选项(或者您没有在编程命令中指定任何用于处理现有内容的部署选项),则可以选择对错误进行故障排除。

以下信息仅在您选择不保留或覆盖内容的情况下适用。

如果您尝试重新部署具有相同名称和位置的文件,则如果指定应用程序名称和部署组的底层部署组 ID 与之前使用的相同,则重新部署更有可能成功。 CodeDeploy 使用底层部署组 ID 来识别要在重新部署之前删除的文件。

将新文件部署到实例上的相同位置或将相同的文件重新部署到实例上的相同位置可能会因以下原因而失败:

  • 您为将相同修订重新部署到同一实例的操作指定不同的应用程序名称。重新部署失败,因为即使部署组名称相同,使用其他应用程序名称意味着将使用不同的基础部署组 ID。

  • 您已删除并重新创建应用程序的部署组,然后尝试将同一修订重新部署到该部署组。重新部署失败,因为即使部署组名称相同,也会 CodeDeploy 引用不同的底层部署组 ID。

  • 您在中删除了应用程序和部署组 CodeDeploy,然后创建了与您删除的应用程序和部署组同名的新应用程序和部署组。之后,您尝试重新将已部署到上一个部署组的修订部署到同名的新部署组。重新部署失败,因为尽管应用程序和部署组的名称相同,但 CodeDeploy 仍引用您删除的部署组的 ID。

  • 您已将一个修订部署到一个部署组,然后将对另一个部署组的同一修订部署到相同的实例。第二个部署失败,因为 CodeDeploy 引用了不同的底层部署组 ID。

  • 您已将一个修订部署到一个部署组,然后将对另一个部署组的其他修订部署到相同的实例。至少有一个文件具有相同名称且位于第二个部署组尝试部署的相同位置。第二次部署失败,因为在第二次部署开始之前 CodeDeploy 没有删除现有文件。两个部署都将引用不同的部署组 ID。

  • 您在中部署了修订版 CodeDeploy,但至少有一个名称相同且位于相同位置的文件。部署失败的原因是,默认情况下,在部署开始之前 CodeDeploy 不会删除现有文件。

要处理这些情况,请执行下列操作之一:

  • 从文件之前部署到的位置和实例中删除文件,然后尝试重新部署。

  • 在您的修订 AppSpec 文件中,在 ApplicationStop 或 BeforeInstall部署生命周期事件中,指定一个自定义脚本,以删除与您的修订将要安装的文件匹配的任何位置的文件。

  • 将文件部署或重新部署到不属于之前的部署的位置或实例。

  • 在删除应用程序或部署组之前,请部署一个修订版,该修订包含一个 AppSpec 文件,该文件没有指定要复制到实例的文件。对于该部署,指定使用您即将删除的基础应用程序和部署组的 ID 的应用程序名称和部署组名称。(您可以使用get-deployment-group命令来检索部署组 ID。) CodeDeploy使用底层部署组 ID 和 AppSpec 文件删除其在先前成功部署中安装的所有文件。

长文件路径会导致“没有这样的文件或目录”错误

对于到 Windows 实例的部署,如果您的 appspec.yml 文件的“files”部分的文件路径大于 260 个字符,则您可能会看到部署失败并显示类似以下内容的错误:

No such file or directory @ dir_s_mkdir - C:\your-long-file-path

之所以出现此错误,是因为默认情况下,Windows 不允许文件路径超过 260 个字符,详见 Microsoft 文档

对于 CodeDeploy 代理版本 1.4.0 或更高版本,您可以通过两种方式启用长文件路径,具体取决于代理安装过程:

如果尚未安装 CodeDeploy 代理:

  1. 在计划安装 CodeDeploy 代理的计算机上,使用以下命令启用 LongPathsEnabled Windows 注册表:

    New-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem" -Name "LongPathsEnabled" -Value 1 -PropertyType DWORD -Force
  2. 安装代 CodeDeploy 理。有关更多信息,请参阅 安装代 CodeDeploy 理

如果已经安装了 CodeDeploy 代理:

  1. 在 CodeDeploy 代理计算机上,使用以下命令启用 LongPathsEnabled Windows 注册表:

    New-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem" -Name "LongPathsEnabled" -Value 1 -PropertyType DWORD -Force
  2. 重新启动 CodeDeploy 代理以使注册表项更改生效。要重新启动代理,请使用以下命令:

    powershell.exe -Command Restart-Service -Name codedeployagent

长时间运行的进程可能会导致部署失败

对于部署到 Amazon Linux、Ubuntu Server 和 RHEL 实例,如果您的部署脚本启动了长时间运行的过程,则 CodeDeploy 可能会在部署生命周期事件中花费很长时间等待,然后部署失败。这是因为,如果该进程的运行时间超过前台和后台进程的预期运行时间,则部署将 CodeDeploy 停止并失败,即使该进程仍按预期运行。

例如,应用程序修订在其根目录下包含两个文件:after-install.shsleep.sh。其 AppSpec 文件包含以下指令:

version: 0.0 os: linux files: - source: ./sleep.sh destination: /tmp hooks: AfterInstall: - location: after-install.sh timeout: 60

after-install.sh文件在 AfterInstall 应用程序生命周期事件期间运行。以下是其内容:

#!/bin/bash /tmp/sleep.sh

sleep.sh 文件包含以下内容,它会使程序执行暂停 3 分钟(180 秒),并模拟某个长时间运行的进程:

#!/bin/bash sleep 180

after-install.sh呼叫时sleep.shsleep.sh启动并运行三分钟(180 秒),也就是说,比 CodeDeploy 预期停止运行的时间晚了两分钟sleep.sh(120 秒after-install.sh)(根据关系)。超时一分钟(60 秒)后,即使部署sleep.sh继续按预期运行,也会在 AfterInstall 应用程序生命周期事件中 CodeDeploy 停止部署并失败。将显示以下错误:

Script at specified location: after-install.sh failed to complete in 60 seconds.

仅在 & 中添加 after-install.sh 符号无法在后台运行 sleep.sh

#!/bin/bash # Do not do this. /tmp/sleep.sh &

这样做可能会使部署在默认的一小时部署生命周期事件超时时间内处于待处理状态,之后部署会像以前一样在 AfterInstall 应用程序生命周期事件中 CodeDeploy 停止部署并失败。

在中after-install.sh,按sleep.sh如下方式调用 CodeDeploy ,这样可以在进程开始运行后继续:

#!/bin/bash /tmp/sleep.sh > /dev/null 2> /dev/null < /dev/null &

在之前的调用中,sleep.sh 是要在后台开始运行的进程的名称,该进程将 stdout、stderr 和 stdin 重定向到 /dev/null

在部署日志中未报告任何错误的情况下对失败的 AllowTraffic 生命周期事件进行故障排除

在某些情况下,蓝/绿部署在 AllowTraffic 生命周期事件期间会失败,但部署日志并未指出失败的原因。

这种故障通常是由于在 Elastic Load Balancing 中,用于管理部署组流量的经典负载均衡器、应用程序负载均衡器或网络负载均衡器的运行状况检查配置不正确造成的。

要解决这一问题,请检查并更正负载均衡器的运行状况检查配置中的错误。

有关传统负载均衡器,请参阅经典负载均衡器用户指南和 Elastic Load Balancing API 参考版本 2012-06-01 ConfigureHealthCheck中的配置运行状况检查。

对于应用程序负载均衡器,请参阅《应用程序负载均衡器用户指南》中的目标组的运行状况检查

对于网络负载均衡器,请参阅《网络负载均衡器用户指南》中的目标组的运行状况检查

对失败 ApplicationStop BeforeBlockTraffic、或 AfterBlockTraffic 部署生命周期事件进行故障排除

在部署期间, CodeDeploy 代理会运行上一次成功部署 AppSpec 的文件 AfterBlockTraffic 中为 ApplicationStop BeforeBlockTraffic、和指定的脚本。(所有其他脚本都从当前部署中的 AppSpec 文件运行。) 如果这些脚本之一包含错误且未成功运行,则部署可能失败。

这些失败的可能原因包括:

  • CodeDeploy 代理在正确位置找到了deployment-group-id_last_successful_install文件,但deployment-group-id_last_successful_install文件中列出的位置不存在。

    在 Amazon Linux、Ubuntu Server 和 RHEL 实例上,此文件必须存在于 /opt/codedeploy-agent/deployment-root/deployment-instructions 中。

    在 Windows Server 实例上,此文件必须存储在 C:\ProgramData\Amazon\CodeDeploy\deployment-instructions 文件夹中。

  • deployment-group-id_last_successful_install文件中列出的位置中,要么 AppSpec 文件无效,要么脚本无法成功运行。

  • 这一脚本中包含无法更正的错误,所以永远无法成功运行。

使用 CodeDeploy 控制台调查在上述任何事件期间部署可能失败的原因。在部署的详细信息页上,选择查看事件。在实例的详细信息页面上,在ApplicationStopBeforeBlockTraffic、或AfterBlockTraffic行中,选择查看日志。或者使用 Amazon CLI 调用get-deployment-instance命令。

如果失败的原因是上次成功部署的脚本从未成功运行,请创建一个部署并指定应忽略 ApplicationStop BeforeBlockTraffic、和 AfterBlockTraffic 失败。有两种方式可执行此操作:

  • 使用 CodeDeploy 控制台创建部署。在创建部署页面的ApplicationStop 生命周期事件失败下,选择实例上的此生命周期事件失败时不要使实例的部署失败

  • 使用调 Amazon CLI 用create-deployment命令并添加--ignore-application-stop-failures选项。

当您重新部署应用程序修订时,部署将继续,即使这三个生命周期事件中的任一事件失败也是如此。如果新的修订已包含针对这些生命周期事件的修复脚本,未来的部署无需应用此修复就能成功。

使用以下命令对失败的 DownloadBundle 部署生命周期事件进行故障排除 UnknownError:未打开供读取

如果您尝试从 Amazon S3 部署应用程序修订,但在部署生命周期事件期间 DownloadBundle 部署失败并UnknownError: not opened for reading显示错误:

  • 发生内部 Amazon S3 服务错误。请重新部署应用程序修订。

  • EC2 实例上的 IAM 实例配置文件无权访问 Amazon S3 中的应用程序修订。有关 Amazon S3 存储桶策略的信息,请参阅将修订推送 CodeDeploy 到 Amazon S3(仅限 EC2/本地部署)部署先决条件

  • 您部署到的实例与一个 Amazon 区域(例如美国西部(俄勒冈))关联,但包含应用程序修订的 Amazon S3 存储桶与另一个 Amazon 区域(例如,美国东部(弗吉尼亚北部))关联。确保应用程序修订位于与实例相同 Amazon 区域关联的 Amazon S3 存储桶中。

在部署的事件详细信息页的下载服务包行中,选择查看日志。或者使用 Amazon CLI 调用get-deployment-instance命令。如果出现此错误,则输出中应有一个错误代码为 UnknownError 且错误消息为 not opened for reading 的错误。

要确定此错误的原因,请执行以下步骤:

  1. 对至少一个实例启用线路日志记录,然后重新部署应用程序修订。

  2. 查看线路日志记录文件以找到错误。此问题的常见错误消息包括短语“access denied”。

  3. 在查看日志文件后,建议您禁用线路日志记录以减小日志文件的大小并减少将来可能会在实例上的输出中以纯文本格式出现的敏感信息量。

有关如何查找线路日志文件以及如何启用和禁用线路日志记录的信息,请参阅:log_aws_wire:CodeDeploy 代理配置参考中的

排查所有生命周期事件跳过错误

如果跳过了 EC2 或本地部署的所有生命周期事件,您可能会收到类似于 The overall deployment failed because too many individual instances failed deployment, too few healthy instances are available for deployment, or some instances in your deployment group are experiencing problems. (Error code: HEALTH_CONSTRAINTS) 的错误。这里介绍了一些可能的原因和解决方案:

  • 该 CodeDeploy 代理可能未在实例上安装或运行。要确定 CodeDeploy 代理是否正在运行,请执行以下操作:

    • 对于 Amazon Linux RHEL 或 Ubuntu 服务器,请运行以下命令:

      systemctl status codedeploy-agent
    • 对于 Windows,请运行以下命令:

      powershell.exe -Command Get-Service -Name CodeDeployagent

    如果 CodeDeploy 代理未安装或未运行,请参见验证 CodeDeploy 代理是否正在运行

    您的实例可能无法使用端口 443 访问 CodeDeploy 或 Amazon S3 公有终端节点。请尝试以下任一操作:

    • 将公有 IP 地址分配到实例并使用其路由表来允许 Internet 访问。确保与实例关联的安全组允许端口 443(HTTPS)上的出站访问。有关更多信息,请参阅 CodeDeploy 代理的通信协议和端口

    • 如果是在私有子网中预配置了实例,请在路由表中使用 NAT 网关而不是 Internet 网关。有关更多信息,请参阅 NAT 网关

  • 的服务角色 CodeDeploy 可能没有所需的权限。要配置 CodeDeploy 服务角色,请参阅步骤 2:为创建服务角色 CodeDeploy

  • 如果您使用 HTTP 代理,请确保在 CodeDeploy 代理配置文件的:proxy_uri:设置中指定该代理。有关更多信息,请参阅 CodeDeploy 代理配置参考

  • 您部署实例的日期和时间签名可能与部署请求的日期和时间签名不匹配。在 CodeDeploy 代理日志文件Cannot reach InstanceService: Aws::CodeDeployCommand::Errors::InvalidSignatureException - Signature expired中查找类似的错误。如果您看到此错误,请按照疑难解答 “InvalidSignatureException — 签名已过期:[时间] 现在早于 [时间]” 部署错误中的步骤进行操作。有关更多信息,请参阅 查看 CodeDeploy EC2/本地部署的日志数据

  • CodeDeploy 代理可能会因为实例的内存或硬盘空间不足而停止运行。尝试通过更新 CodeDeploy 代理配置中的max_revisions设置来减少实例上的存档部署数量。如果您为 EC2 实例执行了此操作但问题仍然存在,请考虑使用较大的实例。例如,如果您的实例类型为 t2.small,请尝试使用 t2.medium。有关更多信息,请参阅 CodeDeploy 代理安装的文件 CodeDeploy 代理配置参考实例类型

  • 您部署的实例可能没有附加 IAM 实例配置文件,或者可能附加了没有所需权限的 IAM 实例配置文件。

    • 如果 IAM 实例配置文件没有附加到您的实例,请创建具有所需权限的实例配置文件,然后附加该文件。

    • 如果 IAM 实例配置文件已经附加到您的实例,请确保它具有所需的权限。

    在您确认附加的实例配置文件配置有所需权限之后,重新启动实例。有关更多信息,请参阅《Amazon EC2 用户指南》中的步骤 4:为 Amazon EC2 实例创建 IAM 实例配置文件适用于 Amazon EC2 的 IAM 角色

默认情况下,Windows PowerShell 脚本无法使用 64 位版本 PowerShell 的 Windows

如果在部署过程中运行的 Windows PowerShell 脚本依赖于 64 位功能(例如,因为它消耗的内存超过 32 位应用程序允许的内存或调用仅在 64 位版本中提供的库),则该脚本可能会崩溃或无法按预期运行。这是因为默认情况下, CodeDeploy 它使用 32 位版本的 Windows PowerShell 来运行作为应用程序修订版一部分的 Windows PowerShell 脚本。

在必须使用 64 位版本的 Windows PowerShell 运行的所有脚本的开头添加如下代码:

# Are you running in 32-bit mode? # (\SysWOW64\ = 32-bit mode) if ($PSHOME -like "*SysWOW64*") { Write-Warning "Restarting this script under 64-bit Windows PowerShell." # Restart this script under 64-bit Windows PowerShell. # (\SysNative\ redirects to \System32\ for 64-bit mode) & (Join-Path ($PSHOME -replace "SysWOW64", "SysNative") powershell.exe) -File ` (Join-Path $PSScriptRoot $MyInvocation.MyCommand) @args # Exit 32-bit script. Exit $LastExitCode } # Was restart successful? Write-Warning "Hello from $PSHOME" Write-Warning " (\SysWOW64\ = 32-bit mode, \System32\ = 64-bit mode)" Write-Warning "Original arguments (if any): $args" # Your 64-bit script code follows here... # ...

尽管此代码中的文件路径信息可能看起来违反直觉,但 32 位 Windows PowerShell 使用的路径如下:

c:\Windows\SysWOW64\WindowsPowerShell\v1.0\powershell.exe

64 位 Windows PowerShell 使用的路径如下所示:

c:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe