所需的权限步骤 1：创建管道角色步骤 2：创建域步骤 3：创建管道步骤 4：摄取一些示例数据修复权限问题相关资源

教程：使用 Amazon OpenSearch Ingestion 将数据提取到域

本教程介绍如何使用 Amazon OpenSearch Ingestion 配置简单的管道，以及将数据摄取到 Amazon OpenSearch Service 域。管道是 OpenSearch Ingestion 预调配和管理的资源。您可以使用管道筛选、丰富、转换、规范化和聚合数据，以便在 OpenSearch Service 中执行下游分析和可视化。

本教程将指导您完成快速启动并运行管道的基本步骤。有关更全面的说明，请参阅创建管道。

在本教程中，您将完成以下步骤：

创建域。
创建管道。
摄取一些样本数据。

在本教程中，您将创建以下资源：

管道写入的名为 ingestion-domain 的域
名为 ingestion-pipeline 的管道

所需的权限

要完成此教程，您的用户或角色必须已经附加基于身份的策略，并且具有以下最低权限。这些权限允许您创建管道角色和附加策略（iam:Create* 和 iam:Attach*）、创建或修改域（es:*）以及使用管道（osis:*）。

步骤 1：创建管道角色

首先，创建一个管道将担任的角色，以便访问 OpenSearch Service 域接收器。在本教程后面的部分中，您将在管道配置中包含此角色。

要创建管道角色

打开Amazon Identity and Access Management控制台，地址：https://console.aws.amazon.com/iamv2/。
选择策略，然后选择创建策略。
在本教程中，您将数据摄取到名为 ingestion-domain 的域，该域将在下一步中创建。选择 JSON，然后将下面的策略粘贴到编辑器中。使用您的账户 ID 替换 your-account-id，并在必要时修改区域。
JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "es:DescribeDomain", "Resource": "arn:aws:es:us-east-1:111122223333:domain/ingestion-domain" }, { "Effect": "Allow", "Action": "es:ESHttp*", "Resource": "arn:aws:es:us-east-1:111122223333:domain/ingestion-domain/*" } ] }
如果您想将数据写入现有域，请使用您的域名替换 ingestion-domain。

注意
为简单起见，本教程使用宽泛的访问策略。但是，在生产环境中，建议您对管道角色应用严格一些的访问策略。有关提供最低所需权限的策略示例，请参阅向 Amazon OpenSearch Ingestion 管道授予访问域的权限。
依次选择下一步、下一步，然后命名您的策略 pipeline-policy。
选择创建策略。
然后，创建一个角色并将策略附加到该角色。选择角色，然后选择 创建角色。

选择自定义信任策略，并将以下策略粘贴到编辑器中：

选择下一步。然后搜索并选择（您刚刚创建的）pipeline-policy。
选择下一步，将角色命名为 PipelineRole。
选择 创建角色。

请记住角色的 Amazon 资源名称（ARN）（例如，arn:aws:iam::your-account-id:role/PipelineRole）。您创建管道时需要用到。

步骤 2：创建域

首先，创建名为 ingestion-domain 的域，以向其中摄取数据。

导航到位于 https://console.aws.amazon.com/aos/home 的 Amazon OpenSearch Service 控制台，然后按照以下要求创建域：

运行 OpenSearch 1.0 或更高版本，或 Elasticsearch 7.4 或更高版本
使用公有访问
不使用精准访问控制

注意

这些要求是为了让本教程简单易懂。在生产环境中，您可以配置具有 VPC 访问权限的域和/或使用精细访问控制。要使用精细访问控制，请参阅映射管道角色。

域必须拥有授予 OpenSearchIngestion-PipelineRole IAM 角色访问权限的访问策略，OpenSearch Service 将在下一步中为您创建该访问策略。管道将代入此角色，以便将数据发送到域接收器。

确保该域具有以下域-级别访问策略，该策略授予对该域的管道角色访问权限。替换成您自己的区域和账户 ID：

有关创建域级访问策略的更多信息，请参阅基于资源的策略。

如果您已经创建了域，请修改其现有访问策略以向 OpenSearchIngestion-PipelineRole 提供上述权限。

步骤 3：创建管道

现在您已拥有域，即可创建管道。

要创建管道

在 Amazon OpenSearch Service 控制台的左侧导航窗格中，选择管道。
选择 创建管道。
选择空白管道，然后选择选择蓝图。
在本教程中，我们将创建使用 HTTP 源插件的简单管道。插件接受 JSON 数组格式的日志数据。我们将指定一个 OpenSearch Service 域作为接收器，并将所有数据摄取到 application_logs 索引中。

在源菜单中，选择 HTTP。对于路径，输入 /logs。
在本教程中，为简单起见，我们将配置管道的公共访问权限。对于源网络选项，选择公共访问。有关配置 VPC 访问权限的更多信息，请参阅为 Amazon OpenSearch Ingestion 管道配置 VPC 访问。
选择下一步。
对于处理器，输入日期并选择添加。
启用自收到之时起。将所有其他设置保留为默认值。
选择下一步。
配置接收器详细信息。对于 OpenSearch 资源类型，选择托管集群。然后选择您在上一节中创建的 OpenSearch Service 域。

对于索引名称，输入 application_logs。OpenSearch Ingestion 会自动在域中创建此索引（如果没有索引）。
选择下一步。
将管道命名为 ingestion-pipeline。将容量设置保留为默认值。
对于管道角色，选择创建和使用新的服务角色。管道角色为管道提供所需权限，使其能够向域接收器写入数据并从基于拉取的源读取数据。选择此选项即表示您允许 OpenSearch Ingestion 为您创建角色，而非在 IAM 中手动创建。有关更多信息，请参阅在 Amazon OpenSearch Ingestion 中设置角色和用户。
对于服务角色名称后缀，输入 PipelineRole。在 IAM 中，角色采用的格式为 arn:aws:iam::your-account-id:role/OpenSearchIngestion-PipelineRole。
选择下一步。检查您的管道配置，然后选择创建管道。管道需要 5-10 分钟才能变为活动状态。

步骤 4：摄取一些示例数据

当管道状态为 Active 时，您可以开始将数据摄取到管道。您必须使用 Signature 版本 4 对向管道发出的所有 HTTP 请求进行签名。使用诸如 Postman 或 awscurl 之类的 HTTP 工具向管道发送一些数据。与将数据直接索引到域一样，将数据提取到管道始终需要 IAM 角色或 IAM 访问密钥和私有密钥。

注意

签署请求的主体必须具有 osis:Ingest IAM 权限。

首先，从管道设置页面获取摄取 URL：

Pipeline settings page showing ingestion URL and other configuration details.

然后，摄取一些示例数据。以下请求使用 awscurl 向管道发送单个日志文件：


awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/logs

您现在会看到 200 OK 响应。如果您遇到身份验证错误，可能是因为您从与管道不同的账户提取数据。请参阅修复权限问题。

现在，查询 application_logs 索引以确保成功提取您的日志条目：


awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

示例响应:


{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

修复权限问题

如果您按照教程中的步骤进行操作，但在尝试摄取数据时仍然看到身份验证错误，则可能是因为写入管道的角色与管道本身的 Amazon Web Services 账户不同。在这种情况下，您需要创建并担任一个角色，该角色让您专门用来摄取数据。有关说明，请参阅提供跨账户摄取访问权限。