Amazon Redshift 问题排查 - Amazon Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Redshift 问题排查

如果数据未传输到您的 Amazon Redshift 预置集群或 Amazon Redshift Serverless 工作组,请检查以下各项。

数据在加载到 Amazon Redshift 之前会先传输到 S3 存储桶。如果数据未传输至 S3 存储桶,请参阅Amazon S3 故障排除

  • 查看 Firehose DeliveryToRedshift.Success 指标,确保 Firehose 已尝试将数据从你的 S3 存储桶复制到亚马逊 Redshift 预配置集群或亚马逊 Redshift 无服务器工作组。有关更多信息,请参阅 使用指标监控亚马逊数据 Firehose CloudWatch

  • 如果尚未启用错误日志记录功能,则启用它并检查是否存在传输失败错误日志。有关更多信息,请参阅 使用日志监控亚马逊数据 Firehose CloudWatch

  • 查看 Amazon Redshift STL_CONNECTION_LOG 表,看看 Firehose 能否成功建立连接。在该表中,应该能够根据用户名查看连接及其状态。有关更多信息,请参阅《Amazon Redshift 数据库开发人员指南》中的 STL_CONNECTION_LOG

  • 如果前面的检查显示正在建立连接,请检查 Amazon Redshift STL_LOAD_ERRORS 表以验证 COPY 失败的原因。有关更多信息,请参阅《Amazon Redshift 数据库开发人员指南》中的 STL_LOAD_ERRORS

  • 确保 Firehose 直播中的亚马逊 Redshift 配置准确有效。

  • 确保在您的 Firehose 流中指定的 IAM 角色可以访问 Amazon Redshift 从中复制数据的 S3 存储桶,以及用于数据转换的 Lambda 函数(如果启用了数据转换)。此外,请确保 IAM 角色有权访问 CloudWatch 日志组和日志流以检查错误日志。有关更多信息,请参阅 授予亚马逊 Data Firehose 访问亚马逊 Redshift 目的地的权限

  • 如果您的 Amazon Redshift 预配置集群或 Amazon Redshift Serverless 工作组位于虚拟私有云 (VPC) 中,请确保该集群允许从 Firehose IP 地址进行访问。有关更多信息,请参阅 授予亚马逊 Data Firehose 访问亚马逊 Redshift 目的地的权限

  • 确保 Amazon Redshift 预置集群或 Amazon Redshift Serverless 工作组公开可用。

  • 如果使用数据转换,确保您的 Lambda 函数不会返回有效负载大小超过 6MB 的响应。有关更多信息,请参阅 Amazon 数据 FirehoseData 转换