本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
应用程序问题
本节包含 Managed Service for Apache Flink 应用程序中可能遇到的错误情况的解决方案。
主题
应用程序停留在临时状态
如果您的应用程序处于临时状态 (STARTING, UPDATING, STOPPING,或 AUTOSCALING),你可以使用停止应用程序 StopApplication 使用 Force 参数设置为 true。您不能强制停止处于该DELETING状态的应用程序。或者,如果应用程序处于UPDATING或AUTOSCALING状态,则可以将其回滚到之前运行的版本。回滚应用程序时,它会从上次成功的快照中加载状态数据。如果应用程序没有快照,则 Managed Service for Apache Flink会拒绝回滚请求。有关回滚应用程序的更多信息,请参阅 RollbackApplication 行动。
在增强快照模式下,从 UPDATING 要么 AUTOSCALING 状态恢复最新状态 READY 增强的应用程序快照。如果应用程序没有 READY 增强的快照,回滚失败了 InvalidRequestException。有关更多信息,请参阅 回滚应用程序。
Force-stopping 您的应用程序可能会导致数据丢失或重复。为了防止在应用程序重启期间丢失数据或重复处理数据,我们建议您经常为应用程序拍摄快照。
升级到增强型快照模式: 要升级正在运行的应用程序,您需要发送一个 UpdateApplication 请求与 SnapshotModeUpdate 设置为 ENHANCED_SNAPSHOTS。该请求还必须包括 SnapshotsEnabledUpdate,即使你只更改模式。申请状态为 UPDATING 直到升级完成。要跟踪升级,请致电 DescribeApplicationOperation 和 OperationId 来自回应。对于在 READY 状态,升级立即生效。状态保持不变 READY。回复没有 OperationId。有关更多信息,请参阅 将现有应用程序升级为增强型快照。
应用程序卡住的原因包括:
-
应用程序状态太大:应用程序状态过大或过于持久可能会导致应用程序在检查点或快照操作期间卡住。检查您的应用程序
lastCheckpointDuration和lastCheckpointSize指标是否有稳步增加的值或异常高的值。 -
应用程序代码太大:验证应用程序 JAR 文件小于 512 MB。不支持超过 512 MB 的 JAR 文件。
-
应用程序快照创建失败: Apache Flink 的托管服务在执行期间拍摄应用程序的系统快照
UpdateApplication要么StopApplication请求。系统快照是 Apache Flink 托管服务为您创建的快照。在增强快照模式下,每个系统快照都是增强快照。使用应用程序快照(旧版),每个系统快照都是应用程序快照(旧版)。然后,该服务使用此系统快照并使用更新的应用程序配置来恢复应用程序 恰好一次 处理语义。在增强快照模式下,Apache Flink 托管服务还会在您添加或删除 Amazon VPC 配置或 CloudWatch 记录选项。有关更多信息,请参阅 系统快照。如果自动创建快照失败,请参见 快照创建失败 以下。 -
从快照恢复失败:如果在应用程序更新中删除或更改一个操作符并尝试从快照中还原,默认情况下,如果快照包含缺少的操作符的状态数据,还原将失败。此外,应用程序将停滞在
STARTING或UPDATING状态。要更改此行为并允许恢复成功,请更改AllowNonRestoredState应用程序的参数FlinkRunConfiguration到true。使用此设置,还原会跳过 Apache Flink 无法映射到新程序的状态数据。 -
应用程序初始化需要更长的时间:Managed Service for Apache Flink 在等待 Flink 任务启动时使用 5 分钟的内部超时(软设置)。如果您的作业未能在此超时时间内启动,您将看到 CloudWatch 按如下方式登录:
Flink job did not start within a total timeout of 5 minutes for application: %s under account: %s如果您遇到上述错误,则表示您在 Flink 任务的
main方法下定义的操作花费的时间超过 5 分钟,从而导致 Managed Service for Apache Flink 端的 Flink 任务创建超时。我们建议你去看看 Flink JobManager 日志以及您的应用程序代码,以查看此延迟是否在main该方法是预期的。如果没有,则需要采取措施解决问题,以便在 5 分钟内完成。
您可以使用 ListApplications 或 DescribeApplication 操作检查应用程序状态。
快照创建失败
在以下情况下,Managed Service for Apache Flink 无法拍摄快照:
应用程序已达到其快照配额。有关更多信息,请参阅 使用快照管理应用程序备份。
应用程序无权访问其源或接收器。
应用程序代码无法正常工作。
应用程序遇到其他配置问题。
如果在应用程序更新期间或停止应用程序时拍摄快照时遇到异常,请将应用程序的 ApplicationSnapshotConfiguration属性设置SnapshotsEnabled为false,然后重试请求。
如果未正确配置应用程序的操作员,则快照可能会失败。有关调整运算符性能的信息,请参见运算符扩展。
在应用程序恢复正常状态后,我们建议您将应用程序的SnapshotsEnabled 属性设置为 true。
增强的快照: 一个 CreateSnapshot 在 Apache Flink 的托管服务捕获状态之前,调用会返回。如果稍后捕获失败,则增强快照状态将更改为 FAILED。要找到原因,请致电 DescribeSnapshotOperation 使用快照名称和 SnapshotOperationId 来自 CreateSnapshot 回应。然后阅读 SnapshotOperationFailureDetails.ErrorInfo.ErrorCode。下表列出了这些值。
ErrorCode | 原因和修复 |
|---|---|
ApplicationStateCaptureFailed | Apache Flink 任务没有完成保存点。如果启用了日志记录,请检查 CloudWatch 应用程序的日志。然后重试该请求。 |
ApplicationStateCaptureTimedOut | 保存点超时。如果启用了日志记录,请检查 CloudWatch 慢速或被封锁的操作员的应用程序日志。然后重试该请求。 |
KMSAccessDenied | 应用程序密钥的密钥策略不允许 Apache Flink 托管服务使用该密钥。更新密钥策略,然后重试请求。 |
如果操作状态为 CANCELLED,回复没有 ErrorCode。在应用程序启动后重试请求 RUNNING 并且没有其他应用程序操作正在进行中。
有关更多信息,请参阅 失败原因。但例外情况是 CreateSnapshot 退货,请参阅 对快照 API 错误进行故障排除。
无法访问 VPC 中的资源
如果应用程序使用在 Amazon VPC 上运行的 VPC,请执行以下操作以验证应用程序是否有权访问其资源:
-
检查你的 CloudWatch 记录以下错误。该错误表明应用程序无法访问 VPC 中的资源:
org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.如果看到该错误,请确认正确设置了路由表,并且连接器具有正确的连接设置。
有关设置和分析的信息 CloudWatch 日志,请参阅 Amazon Managed Service for Apache Flink 的日志记录和监控。
在写入到 Amazon S3 存储桶时丢失数据
使用 Apache Flink 版本 1.6.2 将输出写入 Amazon S3 存储桶时,可能会发生一些数据丢失。在直接使用 Amazon S3 存储输出时,我们建议使用最新支持的 Apache Flink 版本。要使用 Apache Flink 1.6.2 写入到 Amazon S3 存储桶,我们建议使用 Firehose。有关将 Firehose 与 Managed Service for Apache Flink 结合使用的更多信息,请参阅 Firehose 接收器。
应用程序处于“运行”状态,但未处理数据
您可以使用 ListApplications 或 DescribeApplication 操作检查应用程序状态。如果您的应用程序输入 RUNNING 状态但未向您的接收器写入数据,您可以通过添加 Amazon 来解决问题 CloudWatch 将日志流式传输到您的应用程序。有关更多信息,请参阅 使用应用程序 CloudWatch 记录选项。日志流包含可用于解决应用程序问题的消息。
快照、应用程序更新或应用程序停止错误: InvalidApplicationConfigurationException
在快照操作期间或创建快照的操作(例如更新或停止应用程序)期间,可能会出现类似下面的错误:
An error occurred (InvalidApplicationConfigurationException) when calling the UpdateApplication operation: Failed to take snapshot for the application xxxx at this moment. The application is currently experiencing downtime. Please check the application's CloudWatch metrics or CloudWatch logs for any possible errors and retry the request. You can also retry the request after disabling the snapshots in the Managed Service for Apache Flink console or by updating the ApplicationSnapshotConfiguration through the Amazon SDK
在应用程序无法创建快照时,将会出现该错误。
如果在快照操作期间或创建快照的操作期间遇到该错误,请执行以下操作:
-
为应用程序禁用快照。您可以在 Apache Flink 托管服务控制台中执行此操作,也可以使用
SnapshotsEnabledUpdate的参数 UpdateApplication 行动。 -
调查无法创建快照的原因。有关更多信息,请参阅 应用程序停留在临时状态。
-
在应用程序恢复正常状态时,重新启用快照。
增强的快照模式: Apache Flink 的托管服务也返回 InvalidApplicationConfigurationException 当请求使用的快照类型不匹配时 SnapshotMode 应用程序的价值。下表列出了这些原因。
| 原因 | Fix |
|---|---|
升级到增强快照模式的请求通过以下方式从应用程序快照(旧版)中恢复 SnapshotName。 |
从请求中删除还原配置。 |
该应用程序使用增强型快照模式和还原请求集 SnapshotName。 |
设置 SnapshotArn 到增强型快照的 ARN。 |
应用程序不使用增强快照模式,还原请求集 SnapshotArn。 |
将应用程序升级到增强快照模式,或使用 SnapshotName 使用应用程序快照(旧版)。 |
应用程序使用增强型快照模式,请求调用 CreateApplicationSnapshot。 |
打电话 CreateSnapshot 取而代之。 |
有关更多信息,请参阅升级期间出现错误和对恢复错误进行故障排除。
升级到增强快照模式失败
升级请求可能以两种方式失败。适用于 Apache Flink 的托管服务可能会拒绝请求,或者在 Apache Flink 的托管服务接受请求后,升级操作可能会失败。
被拒绝的请求: 应用程序没有变化。下表列出了常见原因。
| 例外 | 原因 | Fix |
|---|---|---|
InvalidArgumentException |
该应用程序使用 Apache Flink 1.19 或更早版本,或者除了 Apache Flink 以外的运行时。 | 在单独的请求中将应用程序升级到 Apache Flink 1.20 或更高版本。然后升级到增强型快照模式。 |
InvalidArgumentException |
该请求包含还原配置,而应用程序不是 RUNNING。 |
移除还原配置。 |
InvalidArgumentException |
请求集 SnapshotModeUpdate 到 APPLICATION_SNAPSHOTS_LEGACY 适用于处于增强快照模式的应用程序。 |
您无法使用逆向升级 UpdateApplication。要返回应用程序快照(旧版),请在升级之前回滚到应用程序版本。有关更多信息,请参阅 升级后回滚。 |
AccessDeniedException |
来电者缺乏所需的权限,例如 kinesisanalytics:CreateSystemSnapshot。 |
向调用者授予应用程序 ARN 的权限。 |
ConcurrentModificationException |
CurrentApplicationVersionId 要么 ConditionalToken 与当前应用程序不匹配。 |
打电话 DescribeApplication,然后使用当前版本 ID 发送请求。 |
UnsupportedOperationException |
增强型快照不适用于您的请求所在地区的账户。 | 联系方式 Amazon 支持。 |
升级操作失败: 操作状态为 FAILED。结果取决于应用程序的系统回滚设置:
系统回滚已开启:Apache Flink 的托管服务将应用程序返回到
RUNNING升级前的版本状态。该应用程序不再使用增强型快照模式。系统回滚已关闭:应用程序停留在
READY状态。SnapshotMode停留ENHANCED_SNAPSHOTS。要保持状态,请致电RollbackApplication恢复到升级前的版本。
在关闭系统回滚功能的情况下升级失败后,请勿使用以下命令启动应用程序 RESTORE_FROM_LATEST_SNAPSHOT。该应用程序没有增强型快照,因此应用程序在没有状态的情况下启动。
从增强型快照还原失败
一个 StartApplication, UpdateApplication,或 RollbackApplication 从增强型快照恢复的请求可能会返回下表中的错误。
| 例外 | 原因 | Fix |
|---|---|---|
ResourceInUseException |
增强版快照不在 READY 状态。 |
等到增强版快照上线 READY,或者选择其他增强型快照。 |
ResourceNotFoundException |
账户和区域中不存在具有此 ARN 的增强型快照。 | 使用以下方式查看 ARN ListSnapshots。 |
InvalidArgumentException |
和 RESTORE_FROM_CUSTOM_SNAPSHOT,请求集两者 SnapshotName 和 SnapshotArn,或者两者都不是。 |
精确设置两个成员中的一个。 |
InvalidArgumentException |
一个 UpdateApplication 请求有还原配置,但应用程序不是 RUNNING。 |
使用 StartApplication 使用还原配置。 |
AccessDeniedException |
来电者缺乏所需的权限。缺少的权限可能是以下之一: kinesisanalytics:RestoreFromSnapshot 在增强版快照上, kinesisanalytics:CreateSystemSnapshot 在应用程序上,或 kms:Decrypt 在 Amazon KMS 增强快照的密钥。 |
向来电者授予缺失的权限。 |
InvalidRequestException |
RollbackApplication 未找到符合选择规则的增强型快照。有关更多信息,请参阅 回滚应用程序。 |
使用以下命令从特定的增强快照中恢复 RESTORE_FROM_CUSTOM_SNAPSHOT。 |
如果应用程序的 Apache Flink 操作员 ID (UID) 与增强型快照不匹配,还原也可能会失败。有关更多信息,请参阅 恢复到其他应用程序。
有关错误的完整列表,请参见 对恢复错误进行故障排除。
导入或导出增强型快照失败
一个 ImportSnapshot 要么 ExportSnapshot 请求可能以两种方式失败:
导入失败会将增强型快照留在 FAILED 状态。要使用相同的名称再次导入,请先删除失败的增强快照。导出失败会将增强型快照留在 READY 状态。你可以打电话 ExportSnapshot 再次。
导入因校验和错误而失败
导入操作失败 MissingObjectChecksum 如果源对象没有全对象校验和,则出现错误代码。每个源对象都需要使用 CRC64NVME 算法的 Amazon S3 完整对象校验和。
要修复错误,请使用完整对象 CRC64NVME 校验和再次上传每个源对象。然后删除失败的增强快照,然后重新导入。那样的文件 ExportSnapshot 写入已经有这个校验和。有关更多信息,请参阅 从 Amazon S3 导入增强快照。
DeleteSnapshot 失败
DeleteSnapshot 回报 ResourceInUseException 当增强型快照不在 READY 要么 FAILED 状态。例如,导入的增强型快照是 CREATING 直到导入完成。
等到增强版快照上线 READY 要么 FAILED,然后再次发送请求。如果导出等操作使用增强型快照,则 Apache Flink 托管服务会接受删除并等待该操作完成。
Apache Flink 托管服务不保护应用程序使用的增强快照。正在运行的应用程序不会阻止删除。命名增强快照的还原配置也不会阻止删除。删除后,以后的还原或回滚将无法使用增强型快照。
有关更多信息,请参阅 在操作使用快照时将其删除。
java.nio.file。NoSuchFileException:/usr/local/openjdk-8/lib/security/cacerts
在以前的部署中更新了 SSL 信任存储库位置。请在 ssl.truststore.location 参数中改用以下值:
/usr/lib/jvm/java-11-amazon-corretto/lib/security/cacerts