Amazon CloudWatch Logs
用户指南
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。点 击 Getting Started with Amazon AWS to see specific differences applicable to the China (Beijing) Region.

将 CloudWatch Logs 数据流式传输到 Amazon Elasticsearch Service

您可以将 CloudWatch Logs 日志组配置为通过 CloudWatch Logs 订阅将其收到的数据实时流式传输到 Amazon Elasticsearch Service (Amazon ES) 群集中。有关更多信息,请参阅 使用订阅实时处理日志数据

注意

将大量 CloudWatch Logs 数据流式传输到 Amazon ES 可能会产生较高的使用费。我们建议您监控 AWS 账单以帮助避免产生超出预期的费用。有关更多信息,请参阅使用 CloudWatch 监控您的估计费用

先决条件

在开始之前,使用默认设置创建 Amazon ES 域。稍后您可能需要检查 Amazon ES 域设置,并基于群集将处理的数据量修改群集配置。

有关 Amazon ES 的更多信息,请参阅 Amazon Elasticsearch Service 开发人员指南

创建 Amazon ES 域

在命令提示符处,使用以下 create-elasticsearch-domain 命令:

Copy
aws es create-elasticsearch-domain –-domain-name my-domain

将日志组订阅到 Amazon ES

您可以使用 CloudWatch 控制台将日志组订阅到 Amazon ES。

将日志组订阅到 Amazon ES

  1. 通过以下网址打开 CloudWatch 控制台:https://console.amazonaws.cn/cloudwatch/

  2. 在导航窗格中,选择 Logs

  3. 选择要订阅的日志组。

  4. 选择 ActionsStream to Amazon Elasticsearch Service

  5. Start Streaming to Amazon Elasticsearch Service 屏幕上,为 Amazon ES cluster 选择您在上一步中创建的群集,然后选择 Next

  6. Lambda Function 下,为 Lambda IAM Execution Role 选择 Lambda 在执行对 Amazon ES 的调用时应使用的 IAM 角色,然后选择 Next

    您选择的 IAM 角色应包含以下策略:

    Copy
    { "Version": "2012-10-17", "Statement": [ { "Action": [ "es:*" ], "Effect": "Allow", "Resource": "arn:aws:es:us-west-2:123456789012:domain/streaming-logs/*" } ] }
  7. Configure Log Format and Filters 屏幕上,为 Log Format 选择日志格式。

  8. Subscription Filter Pattern 下,键入要在您的日志事件中查找的字词或模式。这可确保只将您感兴趣的数据发送到 Amazon ES 群集。有关更多信息,请参阅 搜索和筛选日志数据

  9. (可选) 在 Select Log Data to Test 下,选择一个日志流,然后单击 Test Pattern 以确认搜索筛选器是否会返回您期望的结果。

  10. 选择 Next,然后在 Review & Start Streaming to Amazon Elasticsearch Service 屏幕上,选择 Start Streaming