使用 Amazon OpenSearch Service 直接查询 - Amazon OpenSearch Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

使用 Amazon OpenSearch Service 直接查询

使用 Amazon OpenSearch Service 直接查询以分析 Amazon CloudWatch Logs、Amazon S3 和 Amazon Security Lake 中的数据,无需构建摄取管道。这种零 ETL 集成方案支持您使用 OpenSearch SQL 或 PPL 原地查询数据,并在 发现 中进行探索。

要开始使用,请在 OpenSearch Service 控制台中配置您的数据来源。对于 Amazon S3,请使用域连接,并在查询工作台中使用 SQL 创建表。CloudWatch Logs 和 Security Lake 使用预配置的源和 Amazon Glue Data Catalog 表。

直接查询限额

您的账户具有与 OpenSearch Service 直接查询相关的以下限额。

Amazon S3 限额

每次向 Amazon S3 数据来源发起查询时,OpenSearch Service 都会打开一个会话,并使其保持活动状态至少 3 分钟。这可通过消除后续查询中的会话启动时间减少查询延迟。

描述 最大值 可以覆盖
每个域的连接数 10
每个域的数据来源数 20
每个域的索引数 5
每个数据来源的并行会话数 10
每次查询的最大 OCU 60
最大查询执行时间(分钟) 30
每次加速的最大 OCU 20
最大临时存储 20

CloudWatch Logs 限额

注意

如果您想使用 CloudWatch Logs Insights 执行直接查询,请务必参考 有关 CloudWatch Logs Insights 用户使用 OpenSearch SQL 的其他信息

描述 软限制? 备注
跨直接查询 API 的账户级 TPS 限制 3 TPS
最大数据来源数 20 限额按 Amazon Web Services 账户 计算。
最大自动刷新索引或实体化视图数 30 限额按数据来源计算。
最大并发查询数 15

限制适用于处于待处理或运行状态的查询。

包括交互式查询(例如,数据检索命令,如 SELECT)和索引查询(例如,CREATE/ALTER/DROP 之类的操作)。

每次查询的最大并发 OCU 数 512

OpenSearch 计算单元(OCU) 限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。

最大查询执行时间,以分钟为单位 60 限制适用于 CloudWatch Logs Insights 中的 OpenSearch PPL/SQL 查询。
清除过期查询 ID 的时间间隔 90 天 这是 OpenSearch Service 清除较旧条目查询元数据的时间间隔。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 均会失败。

Security Lake 限额

描述 软限制? 备注
跨直接查询 API 的账户级 TPS 限制 3 TPS
最大数据来源数 20 限额按 Amazon Web Services 账户 计算。
最大自动刷新索引或实体化视图数 30

限制适用于每个数据来源。

仅包含自动刷新设置为 true 的索引和实体化视图(MV)。

最大并发查询数 30

限制适用于处于待处理或运行状态的查询。

包括交互式查询(例如,数据检索命令,如 SELECT)和索引查询(例如,CREATE/ALTER/DROP 之类的操作)。

每次查询的最大并发 OCU 数 512

OpenSearch 计算单元(OCU) 限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。

最大查询执行时间,以分钟为单位 30 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。
清除过期查询 ID 的时间间隔 90 天

这是 OpenSearch Service 清除较旧条目查询元数据的时间间隔。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 均会失败。

支持 Amazon Web Services 区域

Amazon S3、CloudWatch Logs 和 Security Lake 中的 OpenSearch Service 直接查询支持以下 Amazon Web Services 区域:

Amazon S3 的可用 Amazon Web Services 区域

  • 亚太地区(香港)

  • 亚太地区(孟买)

  • 亚太地区(首尔)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

CloudWatch Logs 的可用 Amazon Web Services 区域

  • 亚太地区(孟买)

  • 亚太地区(香港)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

  • 欧洲地区(巴黎)

  • 欧洲地区(伦敦)

  • 南美洲(圣保罗)

Security Lake 的可用 Amazon Web Services 区域

  • 亚太地区(孟买)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

  • 欧洲地区(巴黎)

  • 欧洲地区(伦敦)

  • 南美洲(圣保罗)