Amazon OpenSearch Ingestion 概述
Amazon OpenSearch Ingestion 是完全托管的无服务器数据收集器,可向 Amazon OpenSearch Service 域和 OpenSearch 无服务器集合提供实时日志、指标和跟踪数据。
借助 OpenSearch Ingestion,您无需再使用 Logstash 或 Jaeger 等第三方工具即可摄取数据。您可以配置数据生成器以将数据发送到 OpenSearch Ingestion,后者可自动将数据传输至您指定的域或集合。您也可以在传输之前对数据进行转换。
由于 OpenSearch Ingestion 采用无服务器模式,因此无需管理基础设施、修补软件或手动扩展集群。您可以直接在 Amazon Web Services 管理控制台 中配置摄取管道,后续操作均由 OpenSearch Ingestion 处理。
作为 Amazon OpenSearch Service 的组成部分,OpenSearch Ingestion 由 Data Prepper 提供支持,Data Prepper 是开源数据收集器,可对数据进行筛选、增强、转换、标准化和聚合,以用于下游分析和可视化。
Amazon OpenSearch Ingestion 的优势
OpenSearch Ingestion 具有以下主要优势:
-
无需您手动管理自行预调配的管道。
-
根据您定义的容量限制自动扩缩管道。
-
通过安全补丁和错误补丁让您的管道保持最新状态。
-
提供将管道连接到您的虚拟私有云 (VPC) 的选项,以增加安全层。
-
可让您停止和启动管道以控制成本。
-
为常见用例提供管道配置蓝图,以帮助您更快地启动和运行。
-
可让您通过各种 Amazon SDK 和 OpenSearch Ingestion API 以编程方式与您的管道进行交互。
-
支持 Amazon CloudWatch 中的性能监控和 CloudWatch Logs 中的错误记录。
支持的 Data Prepper 版本
OpenSearch Ingestion 目前支持以下主要版本的 Data Prepper:
-
2.x
使用代码编辑器创建管道时,使用必需的 version 选项指定要使用的 Data Prepper 的主要版本。例如 version: "。OpenSearch Ingestion 会检索该主要版本支持的最新次要版本,并使用该版本预调配管道。2"
如果您未使用代码编辑器创建管道,OpenSearch Ingestion 会自动使用支持的最新版本配置管道。
目前,OpenSearch Ingestion 通过 Data Prepper 版本 2.7 预置管道。有关更多信息,请参阅 2.7 发布说明
更新管道的配置时,如果支持新的 Data Prepper 次要版本,则 OpenSearch Ingestion 会自动将管道升级到管道配置中所指定 Data Prepper 主要版本的最新受支持次要版本。例如,管道配置中可能包含 version: "2",而 OpenSearch Ingestion 最初使用版本 2.6.0 预置管道。添加版本 2.7.0 支持并更改管道配置后,OpenSearch Ingestion 会将管道升级到版本 2.7.0。此过程可让您的管道及时获取最新错误修复和性能改进。除非在管道配置中手动更改 version 选项,否则 OpenSearch Ingestion 无法更新管道的主要版本。有关更多信息,请参阅 更新 Amazon OpenSearch Ingestion 管道。
OpenSearch Ingestion 定价
在任何具体时间,您只需为分配给管道的 Ingestion OCU 数量付费,无论是否有数据流经管道。OpenSearch Ingestion 可根据使用情况扩展或缩减管道容量,从而立即适应您的工作负载。
有关完整的定价详情,请参阅 Amazon OpenSearch Service 定价
支持 Amazon Web Services 区域
对于可以使用 OpenSearch Service 的 Amazon Web Services 区域,只有其中一部分可以使用 OpenSearch Ingestion。有关受支持区域的列表,请参阅 Amazon Web Services 一般参考 中的 Amazon OpenSearch Service 端点和配额。