本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Amazon OpenSearch 服务直接查询
使用亚马逊 OpenSearch 服务直接查询来分析亚马逊 CloudWatch 日志、Amazon S3 和亚马逊安全湖中的数据,而无需建立摄取管道。这种零 ETL 集成允许您使用 OpenSearch SQL 或 PPL 在原地查询数据,并在 Discover 中对其进行探索。
首先,请在 OpenSearch 服务控制台中配置您的数据源。对于 Amazon S3,使用域连接并在查询工作台中使用 SQL 创建表。 CloudWatch 日志和 Security Lake 使用预先配置的源和 Amazon Glue Data Catalog 表。
直接查询配额
您的账户具有以下与 Service Direc OpenSearch t 查询相关的配额。
Amazon S3 的配额
每次启动对 Amazon S3 数据来源的查询时,Serv OpenSearch ice 都会打开一个会话并使其保持活动状态至少 3 分钟。这可通过消除后续查询中的会话启动时间来减少查询延迟。
描述 | 最大值 | 可以覆盖 |
---|---|---|
每个域的连接数 | 10 | 是 |
每个域的数据来源数 | 20 | 是 |
每个域的索引数 | 5 | 是 |
每个数据来源的并行会话数 | 10 | 是 |
每次查询的最大 OCU | 60 | 是 |
最大查询执行时间(分钟) | 30 | 是 |
OCUs 每次加速的最大 | 20 | 是 |
最大临时存储 | 20 | 是 |
CloudWatch 日志配额
注意
如果您想使用 L CloudWatch ogs Insights 进行直接查询,请务必参考为使用 OpenSearch SQL 的 “ CloudWatch 日志见解” 用户提供的更多信息。
描述 | 值 | 软限额? | 备注 |
---|---|---|---|
跨直接查询的账户级 TPS 限制 APIs | 3 TPS | 是 | |
数据来源的最大数量 | 20 | 是 | 限额为每个 Amazon Web Services 账户。 |
自动刷新索引或实例化视图的最大值 | 30 | 是 | 限制是每个数据来源的。 |
最大并发查询数 | 15 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
每次查询的最大 OCU | 512 | 是 |
OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器都有 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
最大查询执行时间(以分钟为单位) | 60 | 否 | 限制适用于 Logs Insights 中的 OpenSearch PPL/SQL 查询。 CloudWatch |
清除陈旧查询的期限 IDs | 90 天 | 是 | 这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery 或 GetDirectQueryResult 失败。 |
Security Lake
描述 | 值 | 软限额? | 备注 |
---|---|---|---|
跨直接查询的账户级 TPS 限制 APIs | 3 TPS | 是 | |
数据来源的最大数量 | 20 | 是 | 限额为每个 Amazon Web Services 账户。 |
自动刷新索引或实例化视图的最大值 | 30 | 是 |
每个数据来源的限制。 仅包括自动刷新设置为 true 的索引和实例化视图 (MVs)。 |
最大并发查询数 | 30 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
每次查询的最大 OCU | 512 | 是 |
OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器都有 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
最大查询执行时间(以分钟为单位) | 30 | 否 | 仅适用于交互式查询(例如,数据检索命令,例如SELECT )。对于REFRESH 查询,限制为 6 小时。 |
清除陈旧查询的期限 IDs | 90 天 | 是 |
这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。 |
支持 Amazon Web Services 区域
Amazon S3、 CloudWatch 日志和安全湖中的 OpenSearch 服务直接查询支持以下内容 Amazon Web Services 区域 :
Amazon Web Services 区域 适用于亚马逊 S3
-
亚太地区(香港)
-
亚太地区(孟买)
-
亚太地区(首尔)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
Amazon Web Services 区域 可用于 CloudWatch 日志
-
亚太地区(孟买)
-
亚太地区(香港)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)
Amazon Web Services 区域 可用于Security Lak
-
亚太地区(孟买)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)