亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Redshift 问题排查
如果数据未传输到您的 Amazon Redshift 预置集群或 Amazon Redshift Serverless 工作组,请检查以下各项。
数据在加载到 Amazon Redshift 之前会先传输到 S3 存储桶。如果数据未传输至 S3 存储桶,请参阅Amazon S3 故障排除。
-
查看 Firehose
DeliveryToRedshift.Success
指标,确保 Firehose 已尝试将数据从你的 S3 存储桶复制到亚马逊 Redshift 预配置集群或亚马逊 Redshift 无服务器工作组。有关更多信息,请参阅 使用指标监控亚马逊数据 Firehose CloudWatch 。 -
如果尚未启用错误日志记录功能,则启用它并检查是否存在传输失败错误日志。有关更多信息,请参阅 使用日志监控亚马逊数据 Firehose CloudWatch 。
-
查看 Amazon Redshift
STL_CONNECTION_LOG
表,看看 Firehose 能否成功建立连接。在该表中,应该能够根据用户名查看连接及其状态。有关更多信息,请参阅《Amazon Redshift 数据库开发人员指南》中的STL_CONNECTION_LOG
。 -
如果前面的检查显示正在建立连接,请检查 Amazon Redshift
STL_LOAD_ERRORS
表以验证 COPY 失败的原因。有关更多信息,请参阅《Amazon Redshift 数据库开发人员指南》中的STL_LOAD_ERRORS
。 -
确保 Firehose 直播中的亚马逊 Redshift 配置准确有效。
-
确保在您的 Firehose 流中指定的 IAM 角色可以访问 Amazon Redshift 从中复制数据的 S3 存储桶,以及用于数据转换的 Lambda 函数(如果启用了数据转换)。此外,请确保 IAM 角色有权访问 CloudWatch 日志组和日志流以检查错误日志。有关更多信息,请参阅 授予亚马逊 Data Firehose 访问亚马逊 Redshift 目的地的权限 。
-
如果您的 Amazon Redshift 预配置集群或 Amazon Redshift Serverless 工作组位于虚拟私有云 (VPC) 中,请确保该集群允许从 Firehose IP 地址进行访问。有关更多信息,请参阅 授予亚马逊 Data Firehose 访问亚马逊 Redshift 目的地的权限 。
-
确保 Amazon Redshift 预置集群或 Amazon Redshift Serverless 工作组公开可用。
-
如果使用数据转换,确保您的 Lambda 函数不会返回有效负载大小超过 6MB 的响应。有关更多信息,请参阅 Amazon 数据 FirehoseData 转换。