Amazon EC2 Auto Scaling 问题排查

1. 请执行以下操作之一：

   • 调用 delete-deployment-group 命令以删除与导致心跳超时的 Auto Scaling 组关联的部署组。

   • 使用非 null 的空 Auto Scaling 组名称列表调用 update-deployment-group 命令，以分离 CodeDeploy 托管的所有 Auto Scaling 生命周期挂钩。

     例如，输入以下 Amazon CLI 命令：

     aws deploy update-deployment-group --application-name my-example-app --current-deployment-group-name my-deployment-group --auto-scaling-groups

     再举一个例子，如果您通过 Java 使用 CodeDeploy API，请调用 UpdateDeploymentGroup 并将 autoScalingGroups 设置为 new ArrayList<String>()。这会将 autoScalingGroups 设置为空列表并删除现有列表。不要使用 null，这是默认设置，因为这会将 autoScalingGroups 保持原样，这不是您想要的。

   检查调用的输出。如果输出包含一个 hooksNotCleanedUp 结构和一个 Amazon EC2 Auto Scaling 生命周期挂钩列表，则存在剩余的生命周期挂钩。

2. 调用 describe-lifecycle-hooks 命令，并指定与无法启动的 EC2 实例关联的 Amazon EC2 Auto Scaling 组的名称。在输出中，查找以下任何内容：

   • Amazon EC2 Auto Scaling 生命周期挂钩名称与您在步骤 1 中确定的 hooksNotCleanedUp 结构相对应。

   • Amazon EC2 Auto Scaling 生命周期挂钩名称，其中包含与失败的 Auto Scaling 组关联的部署组的名称。

   • 可能导致 CodeDeploy 部署心跳超时的 Amazon EC2 Auto Scaling 生命周期挂钩名称。

3. 如果挂钩属于步骤 2 中列出的类别之一，请调用 delete-lifecycle-hook 命令以将其删除。在调用中指定 Amazon EC2 Auto Scaling 组和生命周期挂钩。

   重要

   仅删除导致问题的挂钩，如步骤 2 中所述。如果您删除可行的挂钩，您的部署可能会失败，或者 CodeDeploy 可能无法将您的应用程序修订部署到横向扩展的 EC2 实例。

4. 使用所需的 Auto Scaling 组名调用 update-deployment-group 或 create-deployment-group 命令。CodeDeploy 使用新的 UUID 重新安装 Auto Scaling 挂钩。

1. 调用 describe-lifecycle-hooks 命令（在 CodeDeploy 中指定与部署组关联的 Amazon EC2 Auto Scaling 组的名称）。在输出中，在 LifecycleHooks 列表中，记下每个 LifecycleHookName 值。

2. 调用 get-deployment-group 命令，并指定与 Amazon EC2 Auto Scaling 组关联的部署组的名称。在输出中的 autoScalingGroups 列表中，查找名称值与 Amazon EC2 Auto Scaling 组名称匹配的每个项目，然后记下相应的 hook 值。

1. 如果 describe-lifecycle-hooks 命令输出中包含 get-deployment-group 命令输出中未包含的生命周期挂钩名称，则执行以下操作：

   1. 对于 describe-lifecycle-hooks 命令输出中的每个生命周期挂钩名称，请调用 delete-lifecycle-hook 命令。

   2. 调用 update-deployment-group 命令，但不指定原始 Amazon EC2 Auto Scaling 组的名称。CodeDeploy 会在 Amazon EC2 Auto Scaling 组中创建新的替代生命周期挂钩，并将生命周期挂钩与部署组关联。现在，自动部署应恢复，因为新的实例已添加到 Amazon EC2 Auto Scaling 组。

2. 如果 get-deployment-group 命令输出中包含 describe-lifecycle-hooks 命令输出中未包含的生命周期挂钩名称，则执行以下操作：

   1. 调用 update-deployment-group 命令，但不指定原始 Amazon EC2 Auto Scaling 组的名称。

   2. 再次调用 update-deployment-group 命令，但这次要指定原始 Amazon EC2 Auto Scaling 组的名称。CodeDeploy 会在 Amazon EC2 Auto Scaling 组中重新创建缺失的生命周期挂钩。现在，自动部署应恢复，因为新的实例已添加到 Amazon EC2 Auto Scaling 组。

在没有实例处于 InService 状态时排查错误

1. 在 Amazon EC2 控制台中，验证所需容量设置。如果为零，则将其设置为正数。等待实例状态变为 InService，这意味着部署成功。您已解决此问题，可以跳过此故障排除过程的其余步骤。有关设置所需容量设置的信息，请参阅《Amazon EC2 Auto Scaling 用户指南》中的为 Auto Scaling 组设置容量限制。

2. 如果 Auto Scaling 一直尝试启动新的 EC2 实例以满足所需容量，但永远无法实现横向扩展，则通常是由于 Auto Scaling 生命周期挂钩失败所致。按如下方式排查此问题：

   1. 要检查哪个 Auto Scaling 生命周期挂钩事件失败，请参阅《Amazon EC2 Auto Scaling 用户指南》中的验证 Auto Scaling 组的扩展活动。

   2. 如果失败的挂钩的名称是 CodeDeploy-managed-automatic-launch-deployment-hook-DEPLOYMENT_GROUP_NAME，请转到 CodeDeploy，找到部署组，然后找到由 Auto Scaling 启动的失败部署。然后调查部署失败的原因。

   3. 如果您了解部署失败的原因（例如，发生了 CloudWatch 警报），并且可以在不更改修订的情况下修复问题，那么现在就去做。

   4. 如果经过调查，您确定 CodeDeploy 的最后一个成功修订 不再正常运行，并且您的 Auto Scaling 组中没有正常运行的实例，则说明您处于部署死锁状态。要解决此问题，您必须从 Auto Scaling 组中暂时删除 CodeDeploy 的生命周期挂钩，然后重新安装挂钩并重新部署新的（良好）修订，从而修复错误的 CodeDeploy 修订。有关说明，请参阅：

      • To fix the deployment deadlock issue (CLI)

      • To fix the deployment deadlock issue (console)

修复部署死锁问题 (CLI)

1. （可选）阻止导致 CodeDeploy 错误的 CI/CD 管道，这样在修复此问题时就不会发生意外部署。

2. 记下您当前的 Auto Scaling DesiredCapacity 设置：

   aws autoscaling describe-auto-scaling-groups --auto-scaling-group-name ASG_NAME

   在此过程结束时，您可能需要重新缩减到此数字。

3. 将 Auto Scaling DesiredCapacity 设置为 1。如果您的所需容量大于起始容量 1，则这是可选的。通过将其降至 1，可以缩短实例的配置和部署时间，从而加快故障排除速度。如果您的 Auto Scaling 的所需容量最初设置为 0，则必须将其增加到 1。这是强制性的。

   aws autoscaling set-desired-capacity --auto-scaling-group-name ASG_NAME --desired-capacity 1

   注意

   此过程的其余步骤假设您已将 DesiredCapacity 设置为 1。

   此时，Auto Scaling 会尝试扩展到一个实例。然后，由于 CodeDeploy 添加的挂钩仍然存在，CodeDeploy 会尝试部署；部署失败；Auto Scaling 取消实例；Auto Scaling 尝试重新启动实例以达到所需的容量 1，但再次失败。您正处于取消-重启的循环中。

4. 从部署组中取消注册 Auto Scaling 组：

   警告

   以下命令将启动一个没有软件的新 EC2 实例。在运行命令之前，请确保不运行任何软件的 Auto Scaling InService 实例是可以接受的。例如，确保与实例关联的负载均衡器在没有软件的情况下不会向该主机发送流量。

   重要

   使用下面显示的 CodeDeploy 命令移除挂钩。请勿通过 Auto Scaling 服务移除挂钩，因为 CodeDeploy 无法识别这种移除。

   aws deploy update-deployment-group --application-name APPLICATION_NAME --current-deployment-group-name DEPLOYMENT_GROUP_NAME --auto-scaling-groups

   运行此命令后，将会发生以下情况：

   1. CodeDeploy 从部署组中注销 Auto Scaling 组。

   2. CodeDeploy 从 Auto Scaling 组中移除 Auto Scaling 生命周期挂钩。

   3. 由于导致部署失败的挂钩已不复存在，Auto Scaling 会取消现有 EC2 实例，并立即启动一个新实例来扩展到所需容量。新实例应该很快就会进入 InService 状态。新实例不包括软件。

5. 等待 EC2 实例进入 InService 状态。要验证此，请使用以下命令：

   aws autoscaling describe-auto-scaling-groups --auto-scaling-group-names ASG_NAME --query AutoScalingGroups[0].Instances[*].LifecycleState

6. 将挂钩添加回 EC2 实例：

   重要

   使用下面显示的 CodeDeploy 命令添加挂钩。请勿使用 Auto Scaling 服务添加挂钩，因为 CodeDeploy 无法识别添加的挂钩。

   aws deploy update-deployment-group --application-name APPLICATION_NAME --current-deployment-group-name DEPLOYMENT_GROUP_NAME --auto-scaling-groups ASG_NAME

   运行此命令后，将会发生以下情况：

   1. CodeDeploy 将 Auto Scaling 生命周期挂钩重新安装到 EC2 实例

   2. CodeDeploy 将 Auto Scaling 组重新注册到部署组。

7. 使用您知道运行状况良好且想要使用的 Amazon S3 或 GitHub 修订创建实例集范围的部署。

   例如，如果修订是名为 my-revision-bucket 的 Amazon S3 存储桶中的 .zip 文件，对象键为 httpd_app.zip，则输入以下命令：

   aws deploy create-deployment --application-name APPLICATION_NAME --deployment-group-name DEPLOYMENT_GROUP_NAME --revision "revisionType=S3,s3Location={bucket=my-revision-bucket,bundleType=zip,key=httpd_app.zip}"

   由于 Auto Scaling 组中现在有一个 InService 实例，因此此部署应该可以正常工作，而且您不应再看到错误：由于未找到您的部署组的实例，部署失败。

8. 如果您之前缩减了 Auto Scaling 组的容量，则在部署成功后，将其扩展回原始容量：

   aws autoscaling set-desired-capacity --auto-scaling-group-name ASG_NAME --desired-capacity ORIGINAL_CAPACITY

修复部署死锁问题（控制台）

1. （可选）阻止导致 CodeDeploy 错误的 CI/CD 管道，这样在修复此问题时就不会发生意外部署。

2. 前往 Amazon EC2 控制台，记下您的 Auto Scaling 的所需容量设置。在此过程结束时，您可能需要重新缩减到此数字。有关查找此设置的信息，请参阅在 Auto Scaling 组中设置容量限制。

3. 将所需 EC2 实例数量设置为 1：

   如果您的所需容量大于起始容量 1，则这是可选的。通过将其降至 1，可以缩短实例的配置和部署时间，从而加快故障排除速度。如果您的 Auto Scaling 的所需容量最初设置为 0，则必须将其增加到 1。这是强制性的。

   注意

   此过程的其余步骤假设您已将所需容量设置为 1。

   1. 访问 https://console.aws.amazon.com/ec2/，打开 Amazon EC2 控制台，然后从导航窗格中选择 Auto Scaling Groups（Auto Scaling 组）。

   2. 选择适当的区域。

   3. 转到有问题的 Auto Scaling 组。

   4. 在组详细信息中，选择编辑。

   5. 将所需容量设置为 1。

   6. 选择更新。

4. 从部署组中取消注册 Auto Scaling 组：

   警告

   以下子步骤将启动一个没有软件的新 EC2 实例。在运行命令之前，请确保不运行任何软件的 Auto Scaling InService 实例是可以接受的。例如，确保与实例关联的负载均衡器在没有软件的情况下不会向该主机发送流量。

   1. 从 https://console.aws.amazon.com/codedeploy/ 打开 CodeDeploy 控制台。

   2. 选择适当的区域。

   3. 在导航窗格中，选择应用程序。

   4. 选择您的 CodeDeploy 应用程序的名称。

   5. 选择 CodeDeploy 部署组的名称。

   6. 选择编辑。

   7. 在环境配置中，取消选择 Amazon EC2 Auto Scaling 组。

      注意

      如果未定义环境配置，则控制台不允许您保存配置。要绕过检查，请临时添加一个您知道不会解析为任何主机的标签 EC2 或 On-premises。要添加标签，请选择 Amazon EC2 实例或本地实例，然后添加标签键 EC2 或 On-premises。您可以将标签值留空。

   8. 选择保存更改。

      完成这些子步骤后，将会发生以下情况：

      1. CodeDeploy 从部署组中注销 Auto Scaling 组。

      2. CodeDeploy 从 Auto Scaling 组中移除 Auto Scaling 生命周期挂钩。

      3. 由于导致部署失败的挂钩已不复存在，Auto Scaling 会取消现有 EC2 实例，并立即启动一个新实例来扩展到所需容量。新实例应该很快就会进入 InService 状态。新实例不包括软件。

5. 等待 EC2 实例进入 InService 状态。要验证其状态，请执行以下操作：

   1. 通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

   2. 在导航窗格中，选择 Auto Scaling Groups。

   3. 选择您的 Auto Scaling 组。

   4. 在内容窗格中，选择实例管理选项卡。

   5. 在实例下，确保生命周期列在实例旁边显示正在使用。

6. 使用与删除 Auto Scaling 组相同的方法在 CodeDeploy 部署组中重新注册该组：

   1. 从 https://console.aws.amazon.com/codedeploy/ 打开 CodeDeploy 控制台。

   2. 选择适当的区域。

   3. 在导航窗格中，选择应用程序。

   4. 选择您的 CodeDeploy 应用程序的名称。

   5. 选择 CodeDeploy 部署组的名称。

   6. 选择编辑。

   7. 在环境配置中，选择 Amazon EC2 Auto Scaling 组，然后从列表中选择您的 Auto Scaling 组。

   8. 在 Amazon EC2 实例或本地实例下，找到您添加的标签并将其删除。

   9. 取消选中 Amazon EC2 实例或本地实例旁边的复选框。

   10. 选择保存更改。

   此配置将生命周期挂钩重新安装到 Auto Scaling 组中。

7. 使用您知道运行状况良好且想要使用的 Amazon S3 或 GitHub 修订创建实例集范围的部署。

   例如，如果修订是名为 my-revision-bucket 的 Amazon S3 存储桶中的 .zip 文件，对象键为 httpd_app.zip，则执行以下操作：

   1. 在 CodeDeploy 控制台的部署组页面中，选择创建部署。

   2. 对于 Revision type (修订类型)，选择 My application is stored in Amazon S3 (我的应用程序存储在 Amazon S3 中)。

   3. 在修订位置中，选择 s3://my-revision-bucket/httpd_app.zip。

   4. 对于修订文件类型，选择 .zip。

   5. 选择 Create deployment (创建部署)。

   由于 Auto Scaling 组中现在有一个 InService 实例，因此此部署应该可以正常工作，而且您不应再看到错误：由于未找到您的部署组的实例，部署失败。

8. 如果您之前缩减了 Auto Scaling 组的容量，则在部署成功后，将其扩展回原始容量：

   1. 访问 https://console.aws.amazon.com/ec2/，打开 Amazon EC2 控制台，然后从导航窗格中选择 Auto Scaling Groups（Auto Scaling 组）。

   2. 选择适当的区域。

   3. 转到您的 Auto Scaling 组。

   4. 在组详细信息中，选择编辑。

   5. 将所需容量设置回其原始值。

   6. 选择更新。