本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用亚马逊 OpenSearch 服务直接查询
使用亚马逊 OpenSearch 服务直接查询来分析亚马逊 CloudWatch 日志、Amazon S3 和亚马逊安全湖中的数据,而无需建立摄取管道。这种零 ETL 集成允许您使用 OpenSearch SQL 或 PPL 在原地查询数据,并在 Discover 中对其进行探索。
首先,请在 OpenSearch 服务控制台中配置您的数据源。对于 Amazon S3,使用域连接并在查询工作台中使用 SQL 创建表。 CloudWatch 日志和安全湖使用预配置的源和Amazon Glue Data Catalog表。
直接查询限额
您的账户具有以下与 OpenSearch 服务直接查询相关的配额。
Amazon S3 限额
每次您启动对 Amazon S3 数据源的查询时, OpenSearch 服务都会打开一个会话并使其保持至少三分钟的活动状态。这可通过消除后续查询中的会话启动时间减少查询延迟。
| 说明 | 最大值 | 可以覆盖 |
|---|---|---|
| 每个域的连接数 | 10 | 是 |
| 每个域的数据来源数 | 20 | 是 |
| 每个域的索引数 | 5 | 是 |
| 每个数据来源的并行会话数 | 10 | 是 |
| 每次查询的最大 OCU | 60 | 是 |
| 最大查询执行时间(分钟) | 30 | 是 |
| OCUs 每次加速度的最大值 | 20 | 是 |
| 最大临时存储 | 20 | 是 |
CloudWatch 日志配额
注意
如果您想使用 L CloudWatch ogs Insights 进行直接查询,请务必参考为使用 OpenSearch SQL 的 “ CloudWatch 日志见解” 用户提供的其他信息。
| 说明 | 值 | 软限制? | 注意 |
|---|---|---|---|
| 跨直接查询的账户级 TPS 限制 APIs | 3 TPS | 是 | |
| 最大数据来源数 | 20 | 是 | 限额为每个Amazon Web Services 账户。 |
| 最大自动刷新索引或实体化视图数 | 30 | 是 | 限额按数据来源计算。 |
| 最大并发查询数 | 30 | 是 |
限制以每个数据源为单位,适用于处于待处理或运行状态的查询。 包括交互式查询(例如,像这样的数据检索命令 |
| 每次查询的最大并发 OCU 数 | 512 | 是 |
OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
| 最大查询执行时间,以分钟为单位 | 60 | 否 | 限制适用于 Logs Insights 中的 OpenSearch PPL/SQL 查询。 CloudWatch |
| 清除陈旧查询的期限 IDs | 90 天 | 是 | 这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 失败。 |
Security Lake 限额
| 说明 | 值 | 软限制? | 注意 |
|---|---|---|---|
| 跨直接查询的账户级 TPS 限制 APIs | 3 TPS | 是 | |
| 最大数据来源数 | 20 | 是 | 限额为每个Amazon Web Services 账户。 |
| 最大自动刷新索引或实体化视图数 | 30 | 是 |
限制适用于每个数据来源。 仅包括自动刷新设置为 true 的索引和实例化视图 (MVs)。 |
| 最大并发查询数 | 30 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
| 每次查询的最大并发 OCU 数 | 512 | 是 |
OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
| 最大查询执行时间,以分钟为单位 | 30 | 否 | 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。 |
| 清除陈旧查询的期限 IDs | 90 天 | 是 |
这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。 |
支持的 Amazon Web Services 区域
Amazon S3、 CloudWatch 日志和安全湖中的 OpenSearch 服务直接查询支持以下内容Amazon Web Services 区域:
Amazon Web Services 区域适用于亚马逊 S3
-
亚太地区(香港)
-
亚太地区(孟买)
-
亚太地区(首尔)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
Amazon Web Services 区域可用于 CloudWatch 日志
-
亚太地区(孟买)
-
亚太地区(香港)
-
亚太地区(大阪)
-
亚太地区(首尔)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
欧洲地区(米兰)
-
欧洲(西班牙)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
美国西部(北加利福尼亚)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)
Security Lake 的可用 Amazon Web Services 区域
-
亚太地区(孟买)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)