将 CloudWatch 日志数据流式传输到 Amazon OpenSearch 服务 - Amazon CloudWatch 日志
先决条件为日志组订阅 OpenSearch 服务
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将 CloudWatch 日志数据流式传输到 Amazon OpenSearch 服务

您可以在 Amazon Logs 中配置 CloudWatch 日志组，这样您就可以近乎实时地将数据流式传输到您的 Amazon S OpenSearch ervice 集群。有关更多信息，请参阅 使用订阅实时处理日志数据。

注意

只有标准日志类中的日志组支持流式传输到 OpenSearch 服务。有关日志类的更多信息，请参阅 日志类。

根据流式传输的日志数据量，请考虑设置函数级并发限制。有关更多信息，请参阅 Lambda 函数扩展。

注意

由于将大量 CloudWatch 日志数据流式传输到 OpenSearch 服务可能会导致高额使用费，因此我们建议您在 Amazon Billing and Cost Management 控制台中创建预算。有关更多信息，请参阅使用 Amazon 预算管理成本。

本节介绍在将日志组订阅到 S OpenSearch ervice 之前必须完成的先决条件。它还描述了如何为日志组订阅 OpenSearch 服务。

先决条件

在开始之前，请先创建一个 OpenSearch 服务域。该域可以具有公有访问权限或 VPC 访问权限，但您无法在创建该域后修改访问权限的类型。您可能需要稍后查看您的 OpenSearch 服务域设置，并根据集群将要处理的数据量修改集群配置。有关创建域的说明，请参阅创建 OpenSearch 服务域。

有关 OpenSearch 服务的更多信息，请参阅《亚马逊 OpenSearch 服务开发者指南》。

为日志组订阅 OpenSearch 服务

您可以使用 CloudWatch 控制台为日志组订阅 S OpenSearch ervice。

为日志组订阅 OpenSearch 服务

  1. 打开 CloudWatch 控制台，网址为https://console.aws.amazon.com/cloudwatch/。

  2. 在导航窗格中，选择 日志组。

  3. 选择日志组的名称。

  4. 选择操作、订阅筛选条件、创建亚马逊 OpenSearch 服务订阅筛选条件。

  5. 选择是要流式传输到此账户还是其他账户中的集群。

    • 如果您选择了此账户，请选择上一步中已创建的域。

    • 如果您选择了其他账户，请提供域 ARN 和端点。

  6. 对于 Lambda IAM 执行角色，请选择 Lambda 在执行调用时应使用的 IAM 角色。 OpenSearch

    您选择的 IAM 角色必须满足以下要求：

    • 它在信任关系中必须具有 lambda.amazonaws.com。

    • 它必须包含以下策略：

      {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "es:*"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*"
        }
    ]
}

    • 如果目标 OpenSearch 服务域使用 VPC 访问权限，则该角色必须附加 AWSLambdaVPCAccessExecutionRole策略。这项由亚马逊管理的策略授予 Lambda 访问客户的 VPC 的权限，从而允许 Lambda 写入到 VPC 中的终端节点。 OpenSearch

  7. 对于 Log format（日志格式），请选择日志格式。

  8. 对于 Subscription filter pattern（订阅筛选条件模式），键入要在您的日志事件中查找的字词或模式。这样可以确保您只向 OpenSearch 集群发送您感兴趣的数据。有关更多信息，请参阅 使用筛选条件从日志事件创建指标。

  9. （可选）对于 Select log data to test（选择要测试的日志数据），请选择一个日志流，然后选择 Test pattern（测试模式），以确认搜索筛选器是否会返回您期望的结果。

  10. 选择 Start streaming（开始流式传输）。