直接查询限制
一般限制
以下限制适用于 OpenSearch Service 直接查询。
-
某些数据类型不支持。支持的数据类型仅限于 Parquet、CSV 和 JSON。
-
如果数据结构随时间变化,则需要更新索引视图或开箱即用的集成方案,以适应数据结构的变化。
-
尚不支持 Amazon CloudFormation 模板。
-
与使用直接查询相比,OpenSearch SQL 和 OpenSearch PPL 语句在使用 OpenSearch 索引时存在不同限制。直接查询支持诸如 JOIN、子查询和查找等高级命令,而 OpenSearch 索引对这些命令的支持有限或根本不存在。有关更多信息,请参阅 支持的 SQL 和 PPL 命令。
Amazon S3 的限制
如果您直接查询 Amazon S3 中的数据,则需遵守以下额外限制:
-
S3 的直接查询仅适用于运行 OpenSearch 版本 2.13 或更高版本的 OpenSearch 服务域,且需要访问 Amazon Glue Data Catalog 的权限。现有 Amazon Glue Data Catalog 表必须使用 OpenSearch 查询工作台中的 SQL 语句重新创建。
-
直接查询 S3 需要您在 Amazon S3 上指定一个检查点存储桶。此存储桶维护索引视图的状态,包括上次刷新时间和最近摄取的数据。
-
您的 OpenSearch 域和 Amazon Glue Data Catalog 必须位于同一 Amazon Web Services 账户 中。S3 存储桶可以位于不同的账户中(需要在 IAM 策略中添加条件),但必须与您的域位于同一 Amazon Web Services 区域 中。
-
OpenSearch Service 直接查询 S3 的功能仅支持从 Query Workbench 生成的 Spark 表。要维护索引视图,需要使用 Spark 流式传输,但后者不支持在 Amazon Glue Data Catalog 或 Athena 中生成的表。
-
OpenSearch 实例类型的网络有效载荷限制为 10 MiB 或 100 MiB,具体取决于您选择的实例类型。
Amazon CloudWatch Logs 的限制
如果您直接查询 CloudWatch Logs 中的数据,则需遵守以下额外限制:
-
与 CloudWatch Logs 集成的直接查询仅在 OpenSearch Service 集合和 OpenSearch 用户界面可用。
-
OpenSearch 无服务器集合的网络有效载荷限制为 100 MiB。
-
CloudWatch Logs 支持从控制台安装的 VPC Flow、CloudTrail 和 Amazon WAF 控制面板集成。
Amazon Security Lake 的限制
如果您直接查询 Security Lake 中的数据,则需遵守以下额外限制:
-
与 Security Lake 集成的直接查询仅在 OpenSearch Service 集合和 OpenSearch 用户界面可用。
-
OpenSearch 无服务器集合的网络有效载荷限制为 100 MiB。
-
Security Lake 的表管理在 Lake Formation 中执行。
-
Security Lake 仅支持将实体化视图作为索引视图。不支持覆盖索引。