创建 Amazon OpenSearch Ingestion 管道

管道是 Amazon OpenSearch Ingestion 用来将数据从其来源（数据来源）移动到接收器（数据目的地）的一种机制。在 OpenSearch Ingestion 中，接收器将始终是单一的 Amazon OpenSearch 服务域，而您的数据来源可能是 Amazon S3、Fluent Bit 或 Collector 等客户端。 OpenTelemetry

有关更多信息，请参阅 OpenSearch 文档中的管道。

先决条件和所需 IAM 角色

要创建In OpenSearch gestion 管道，您必须具有以下资源：

有关创建这些资源的说明，请参阅以下主题：

所需的 IAM 权限

OpenSearch Ingestion 使用以下 IAM 权限来创建管道：

例如，以下策略授予创建管道的权限：

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:CreatePipeline",
            "osis:ListPipelineBlueprints",
            "osis:ValidatePipeline"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/pipeline-role"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:CreateRole",
            "iam:AttachPolicy",
            "iam:PassRole"
         ]
      }
   ]
}

OpenSearch Ingestion 还包括一项名为osis:Ingest，只有拥有该权限才能将签名的请求发送到使用 S ignature 版本 4 的管道。有关更多信息，请参阅 创建摄取角色。

有关每项权限的更多信息，请参阅《服务授权参考 OpenSearch 》中的 “摄取操作、资源和条件密钥”。

指定管道版本

使用配置编辑器创建管道时，必须指定管道将运行的 Data Prepper 的主要版本。要指定版本，请在您的管道配置中包含以下 version 选项：

version: "2"
log-pipeline:
  source:
    ...   

当您选择创建时， OpenSearch Ingestion 会确定您指定的主要版本的最新可用次要版本，并使用该版本预调配管道。例如，如果您指定了version: "2"，并且最新支持的 Data Prepper 版本是 2.1.1，则 OpenSearch Ingestion 将使用 2.1.1 版本预调配管道。我们不会公开显示您的管道正在运行的次要版本。

要在 Data Prepper 新的主要版本可用时升级管道，请编辑管道配置并指定新版本。您无法将管道降级到较早版本。

每当您对启动蓝绿部署的管道进行更改时， OpenSearch Ingestion 都可以将其升级到管道当前配置的主要版本的最新次要版本。有关更多信息，请参阅使用蓝绿部署进行管道更新。 OpenSearch 除非在管道配置中明确更新version选项，否则 Ingestion 无法更改管道的主要版本。

指定提取路径

对于基于拉取的来源，例如OTel 跟踪和OTel 指标， OpenSearch Ingestion 需要在源配置中添加其他path选项。路径是字符串（例如，/log/ingest），它表示提取的 URI 路径。此路径定义用于向管道发送数据的 URI。

例如，假设您为带有 HTTP 源的管道指定了以下路径：

向管道中摄取数据时，必须在客户端配置中指定以下端点：https://pipeline-name-abc123.us-west-2.osis.amazonaws.com/my/test_path。

路径必须以斜杠 (/) 开头，可以包含特殊字符 '-'、'_'、'.'、'/' 以及 ${pipelineName} 占位符。如果您使用${pipelineName}（例如/${pipelineName}/test_path）， OpenSearch Ingestion 会将变量替换为关联子管道的名称。

创建管道

本部分介绍如何使用 OpenSearch 服务控制台和创建 OpenSearch Ingestion 管道。 Amazon CLI

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml" \
  --pipeline-role-arn  arn:aws:iam::1234456789012:role/pipeline-role

成功创建管道后，您可以配置客户端并开始将数据提取到 S OpenSearch ervice 域中。有关更多信息，请参阅 将 Amazon OpenSearch Ingestion 管道与其他服务和应用程序集成。

跟踪管道创建的状态

在 Ingestion 预调配管道并准备 OpenSearch 摄取数据时，您可以跟踪管道的状态。

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}