使用 Amazon OpenSearch 服务直接查询 - 亚马逊 OpenSearch 服务
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Amazon OpenSearch 服务直接查询

使用亚马逊 OpenSearch 服务直接查询来分析亚马逊 CloudWatch 日志、Amazon S3 和亚马逊安全湖中的数据,而无需建立摄取管道。这种零 ETL 集成允许您使用 OpenSearch SQL 或 PPL 在原地查询数据,并在 Discover 中对其进行探索。

首先,请在 OpenSearch 服务控制台中配置您的数据源。对于 Amazon S3,使用域连接并在查询工作台中使用 SQL 创建表。 CloudWatch 日志和 Security Lake 使用预先配置的源和 Amazon Glue Data Catalog 表。

直接查询配额

您的账户具有以下与 Service Direc OpenSearch t 查询相关的配额。

Amazon S3 的配额

每次启动对 Amazon S3 数据来源的查询时,Serv OpenSearch ice 都会打开一个会话并使其保持活动状态至少 3 分钟。这可通过消除后续查询中的会话启动时间来减少查询延迟。

描述 最大值 可以覆盖
每个域的连接数 10
每个域的数据来源数 20
每个域的索引数 5
每个数据来源的并行会话数 10
每次查询的最大 OCU 60
最大查询执行时间(分钟) 30
OCUs 每次加速的最大 20
最大临时存储 20

CloudWatch 日志配额

注意

如果您想使用 L CloudWatch ogs Insights 进行直接查询,请务必参考为使用 OpenSearch SQL 的 “ CloudWatch 日志见解” 用户提供的更多信息

描述 软限额? 备注
跨直接查询的账户级 TPS 限制 APIs 3 TPS
数据来源的最大数量 20 限额为每个 Amazon Web Services 账户。
自动刷新索引或实例化视图的最大值 30 限制是每个数据来源的。
最大并发查询数 15

限制适用于处于待处理或运行状态的查询。

包括交互式查询(例如,数据检索命令,如SELECT)和索引查询(例如,CREATE/ALTER/之类的操作DROP)。

每次查询的最大 OCU 512

OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器都有 16 个 vCPU 和 32 GB 内存。表示并发处理能力。

最大查询执行时间(以分钟为单位) 60 限制适用于 Logs Insights 中的 OpenSearch PPL/SQL 查询。 CloudWatch
清除陈旧查询的期限 IDs 90 天 这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 失败。

Security Lake

描述 软限额? 备注
跨直接查询的账户级 TPS 限制 APIs 3 TPS
数据来源的最大数量 20 限额为每个 Amazon Web Services 账户。
自动刷新索引或实例化视图的最大值 30

每个数据来源的限制。

仅包括自动刷新设置为 true 的索引和实例化视图 (MVs)。

最大并发查询数 30

限制适用于处于待处理或运行状态的查询。

包括交互式查询(例如,数据检索命令,如SELECT)和索引查询(例如,CREATE/ALTER/之类的操作DROP)。

每次查询的最大 OCU 512

OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器都有 16 个 vCPU 和 32 GB 内存。表示并发处理能力。

最大查询执行时间(以分钟为单位) 30 仅适用于交互式查询(例如,数据检索命令,例如SELECT)。对于REFRESH查询,限制为 6 小时。
清除陈旧查询的期限 IDs 90 天

这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。

支持 Amazon Web Services 区域

Amazon S3、 CloudWatch 日志和安全湖中的 OpenSearch 服务直接查询支持以下内容 Amazon Web Services 区域 :

Amazon Web Services 区域 适用于亚马逊 S3

  • 亚太地区(香港)

  • 亚太地区(孟买)

  • 亚太地区(首尔)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

Amazon Web Services 区域 可用于 CloudWatch 日志

  • 亚太地区(孟买)

  • 亚太地区(香港)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

  • 欧洲地区(巴黎)

  • 欧洲地区(伦敦)

  • 南美洲(圣保罗)

Amazon Web Services 区域 可用于Security Lak

  • 亚太地区(孟买)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

  • 欧洲地区(巴黎)

  • 欧洲地区(伦敦)

  • 南美洲(圣保罗)