教程：使用 Amazon Ingestion 将数据提取到集合中 OpenSearch

要创建管道角色

1. 打开Amazon Identity and Access Management控制台，网址为 https://console.aws.amazon.com/iamv2/。

2. 选择策略，然后选择创建策略。

3. 选择 JSON，然后将下面的策略粘贴到编辑器中。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. 选择 “下一步”，选择 “下一步”，然后命名您的策略collection-pipeline-policy。

5. 选择创建策略。

6. 然后，创建一个角色并将策略附加到该角色。选择 角色，然后选择 创建角色。

7. 选择自定义信任策略，并将以下策略粘贴到编辑器中：

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. 请选择 Next（下一步）。然后搜索并选择 collection-pipeline-policy（您刚刚创建的）。

9. 选择 “下一步” 并命名角色PipelineRole。

10. 选择 创建角色。

1. 导航到亚马逊 OpenSearch 服务控制台，网址为 https://console.aws.amazon.com/aos/home。

2. 选择左侧导航窗格中的集合，然后选择创建集合。

3. 将集合命名为 ingestion-collection。

4. 在网络访问设置下，将访问类型更改为公有。

5. 所有其他设置保留为默认值，然后选择 Next（下一步）。

6. 对于定义方法，选择 JSON，然后将下面的策略粘贴到编辑器中。此策略具有两个作用：

   • 允许管道角色写入集合。

   • 允许从集合中读取。稍后，在将一些示例数据摄取到管道后，查询集合，以确保数据已成功摄取并写入索引。

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::{your-account-id}:role/PipelineRole",
           "arn:aws:iam::{your-account-id}:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

7. 替换 Principal 元素。第一个主体应指定您创建的管道角色。第二个主体应指定用户或角色，供您稍后用于查询集合。

8. 请选择 Next（下一步）。命名访问策略，pipeline-domain-access然后再次选择 Next。

9. 查看集合配置并选择 Submit（提交）。

要创建管道

1. 在亚马逊 OpenSearch 服务控制台中，从左侧导航窗格中选择 Pipelin es。

2. 选择创建管道。

3. 将管道命名为 serverless-ingestion，并将容量设置保留为默认值。

4. 在本教程中，我们将创建名为 log-pipeline 且使用 HTTP 源插件的简单子管道。插件接受 JSON 数组格式的日志数据。我们将指定一个 OpenSearch Serverless 集合作为接收器，并将所有数据提取到索引中。my_logs

   在管道配置下，将以下 YAML 配置粘贴到编辑器中：

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://{collection-id}.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
             region: "us-east-1"
             serverless: true

5. 将 hosts URL 替换为您在上一节中创建的集合端点。将 sts_role_arn 参数替换为 PipelineRole 的 ARN。或者，修改 region。

6. 选择验证管道并确保验证成功。

7. 在本教程中，为简单起见，我们将配置管道的公共访问权限。在 网络下，选择 公有访问权限。

   有关配置 VPC 访问权限的更多信息，请参阅 保护 VPC 内的 Amazon OpenSearch 摄取管道。

8. 保持日志发布为启用状态，以防您在完成本教程时遇到任何问题。有关更多信息，请参阅 监控管道日志。

   指定以下日志组名称：/aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

9. 请选择 Next（下一步）。检查您的管道配置，然后选择创建管道。管道需要 5-10 分钟才能变为活动状态。