使用 Amazon OpenSearch Service 直接查询
使用 Amazon OpenSearch Service 直接查询以分析 Amazon CloudWatch Logs、Amazon S3 和 Amazon Security Lake 中的数据,无需构建摄取管道。这种零 ETL 集成方案支持您使用 OpenSearch SQL 或 PPL 原地查询数据,并在 发现 中进行探索。
要开始使用,请在 OpenSearch Service 控制台中配置您的数据来源。对于 Amazon S3,请使用域连接,并在查询工作台中使用 SQL 创建表。CloudWatch Logs 和 Security Lake 使用预配置的源和 Amazon Glue Data Catalog 表。
直接查询限额
您的账户具有与 OpenSearch Service 直接查询相关的以下限额。
Amazon S3 限额
每次向 Amazon S3 数据来源发起查询时,OpenSearch Service 都会打开一个会话,并使其保持活动状态至少 3 分钟。这可通过消除后续查询中的会话启动时间减少查询延迟。
| 描述 | 最大值 | 可以覆盖 |
|---|---|---|
| 每个域的连接数 | 10 | 是 |
| 每个域的数据来源数 | 20 | 是 |
| 每个域的索引数 | 5 | 是 |
| 每个数据来源的并行会话数 | 10 | 是 |
| 每次查询的最大 OCU | 60 | 是 |
| 最大查询执行时间(分钟) | 30 | 是 |
| 每次加速的最大 OCU | 20 | 是 |
| 最大临时存储 | 20 | 是 |
CloudWatch Logs 限额
注意
如果您想使用 CloudWatch Logs Insights 执行直接查询,请务必参考 有关 CloudWatch Logs Insights 用户使用 OpenSearch SQL 的其他信息。
| 描述 | 值 | 软限制? | 备注 |
|---|---|---|---|
| 跨直接查询 API 的账户级 TPS 限制 | 3 TPS | 是 | |
| 最大数据来源数 | 20 | 是 | 限额按 Amazon Web Services 账户 计算。 |
| 最大自动刷新索引或实体化视图数 | 30 | 是 | 限额按数据来源计算。 |
| 最大并发查询数 | 15 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
| 每次查询的最大并发 OCU 数 | 512 | 是 |
OpenSearch 计算单元(OCU) 限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
| 最大查询执行时间,以分钟为单位 | 60 | 否 | 限制适用于 CloudWatch Logs Insights 中的 OpenSearch PPL/SQL 查询。 |
| 清除过期查询 ID 的时间间隔 | 90 天 | 是 | 这是 OpenSearch Service 清除较旧条目查询元数据的时间间隔。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 均会失败。 |
Security Lake 限额
| 描述 | 值 | 软限制? | 备注 |
|---|---|---|---|
| 跨直接查询 API 的账户级 TPS 限制 | 3 TPS | 是 | |
| 最大数据来源数 | 20 | 是 | 限额按 Amazon Web Services 账户 计算。 |
| 最大自动刷新索引或实体化视图数 | 30 | 是 |
限制适用于每个数据来源。 仅包含自动刷新设置为 true 的索引和实体化视图(MV)。 |
| 最大并发查询数 | 30 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
| 每次查询的最大并发 OCU 数 | 512 | 是 |
OpenSearch 计算单元(OCU) 限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
| 最大查询执行时间,以分钟为单位 | 30 | 否 | 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。 |
| 清除过期查询 ID 的时间间隔 | 90 天 | 是 |
这是 OpenSearch Service 清除较旧条目查询元数据的时间间隔。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 均会失败。 |
支持 Amazon Web Services 区域
Amazon S3、CloudWatch Logs 和 Security Lake 中的 OpenSearch Service 直接查询支持以下 Amazon Web Services 区域:
Amazon S3 的可用 Amazon Web Services 区域
-
亚太地区(香港)
-
亚太地区(孟买)
-
亚太地区(首尔)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
CloudWatch Logs 的可用 Amazon Web Services 区域
-
亚太地区(孟买)
-
亚太地区(香港)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)
Security Lake 的可用 Amazon Web Services 区域
-
亚太地区(孟买)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)