监控管道日志
您可以为 Amazon OpenSearch Ingestion 管道启用日志记录,以公开管道操作和摄取活动期间出现的错误和警告消息。OpenSearch Ingestion 将所有日志发布到 Amazon CloudWatch Logs。CloudWatch Logs 可以监控日志文件中的信息,并在达到特定阈值时通知您。您还可以在高持久性存储中检索您的日志数据。有关更多信息,请参阅 Amazon CloudWatch Logs 用户指南。
来自 OpenSearch Ingestion 的日志可能指示请求处理失败、从源到接收器的身份验证错误以及其他有助于排除故障的警告。对于日志,OpenSearch Ingestion 使用 INFO、WARN、ERROR 和 FATAL 日志级别。我们建议为所有管道启用日志发布。
所需权限
为使 OpenSearch Ingestion 将日志发送到 CloudWatch Logs,必须以具有特定 IAM 权限的用户身份登录。
您需要以下 CloudWatch Logs 权限才能创建和更新日志传送资源:
启用日志发布
您可以在现有管道上启用日志发布,也可以在创建管道时启用日志发布。有关在管道创建期间启用日志发布的步骤,请参阅 创建管道。
在现有管道上启用发布日志
-
登录到位于 https://console.aws.amazon.com/aos/home
的 Amazon OpenSearch Service 控制台。 -
在左侧导航窗格中,选择管道。
-
打开要启用日志的管道,然后选择操作、编辑日志发布选项。
-
启用发布到 CloudWatch Logs。
-
创建新日志组或选择现有日志组。我们建议您将名称设置为路径格式,例如
/aws/vendedlogs/OpenSearchIngestion/。此格式可以更轻松地应用 CloudWatch 访问策略,为特定路径(例如,pipeline-name/audit-logs/aws/vendedlogs/OpenSearchIngestion)下的所有日志组授予权限。重要
必须在日志组名称中包含前缀
vendedlogs,否则创建失败。 -
选择保存。
要使用 Amazon CLI 启用日志发布,请发送以下请求:
aws osis update-pipeline \ --pipeline-namemy-pipeline\ --log-publishing-options IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}