教程：使用 Amazon OpenSearch Ingestion 将数据摄取到集合

要创建管道角色

1. 打开 Amazon Identity and Access Management 控制台，地址：https://console.aws.amazon.com/iamv2/。

2. 选择策略，然后选择创建策略。

3. 选择 JSON，然后将下面的策略粘贴到编辑器中。修改集合 ARN 并相应地命名。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. 选择下一步，选择下一步，将策略命名为 collection-pipeline-policy。

5. 选择创建策略。

6. 然后，创建一个角色并将策略附加到该角色。选择 角色，然后选择 创建角色。

7. 选择自定义信任策略，并将以下策略粘贴到编辑器中：

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. 选择下一步。然后，搜索并选择刚创建的 collection-pipeline-policy。

9. 选择下一步，将角色命名为 PipelineRole。

10. 选择 创建角色。

1. 导航到位于 https://console.aws.amazon.com/aos/home 的 Amazon OpenSearch Service 控制台。

2. 选择左侧导航窗格中的集合，然后选择创建集合。

3. 将集合命名为 ingestion-collection。

4. 对于安全，选择标准创建。

5. 在网络访问设置下，将访问类型更改为公有。

6. 所有其他设置保留为默认值，然后选择 Next（下一步）。

7. 现在，配置集合的数据访问策略。对于定义方法，选择 JSON，然后将下面的策略粘贴到编辑器中。此策略具有两个作用：

   • 允许管道角色写入集合。

   • 允许从集合中读取。稍后，在将一些示例数据摄取到管道后，查询集合，以确保数据已成功摄取并写入索引。

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. 替换 Principal 元素。第一个主体应指定您创建的管道角色。第二个主体应指定用户或角色，供您稍后用于查询集合。

9. 选择下一步。将访问策略命名为 pipeline-domain-access，然后再次选择下一步。

10. 查看集合配置并选择 Submit（提交）。

要创建管道

1. 在 Amazon OpenSearch Service 控制台的左侧导航窗格中，选择管道。

2. 选择 创建管道。

3. 选择空白管道，然后选择选择蓝图。

4. 将管道命名为 serverless-ingestion，并将容量设置保留为默认值。

5. 在本教程中，我们将创建名为 log-pipeline 且使用 HTTP 源插件的简单子管道。插件接受 JSON 数组格式的日志数据。我们将指定一个 OpenSearch 无服务器集合作为接收器，并将所有数据摄取到 my_logs 索引。

   在管道配置下，将以下 YAML 配置粘贴到编辑器中：

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. 将 hosts URL 替换为您在上一节中创建的集合端点。将 sts_role_arn 参数替换为 PipelineRole 的 ARN。或者，修改 region。

7. 选择验证管道并确保验证成功。

8. 在本教程中，为简单起见，我们将配置管道的公共访问权限。在 网络下，选择 公有访问权限。

   有关配置 VPC 访问权限的更多信息，请参阅 为 Amazon OpenSearch Ingestion 管道配置 VPC 访问。

9. 保持日志发布为启用状态，以防您在完成本教程时遇到任何问题。有关更多信息，请参阅 监控管道日志。

   指定以下日志组名称：/aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

10. 选择下一步。检查您的管道配置，然后选择创建管道。管道需要 5-10 分钟才能变为活动状态。