在 OpenSearch 控制面板中配置和查询 S3 数据源 - 亚马逊 OpenSearch 服务
使用 Query Workbench 创建 Spark 表为常用 Amazon 日志类型设置集成设置访问控制查询数据故障排除
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 OpenSearch 控制面板中配置和查询 S3 数据源

现在，您已创建数据来源，可以配置安全设置、定义 Amazon S3 表或设置加速数据索引。在查询数据之前，本节将引导您了解在 OpenSearch 控制面板中使用数据来源的各种用例。

要配置以下各部分，必须先在 OpenSearch 控制面板中导航到您的数据来源。在左侧导航的管理下，选择数据来源。在管理数据来源下，选择您在控制台中创建的数据来源的名称。

使用 Query Workbench 创建 Spark 表

从 S OpenSearch ervice 到 Amazon S3 的直接查询使用内的 Spark 表 Amazon Glue Data Catalog。您无需离开 OpenSearch 控制面板即可在 Query Workbench 中创建表。

要管理数据来源中现有的数据库和表，或创建要对其使用直接查询的新表，请选择左侧导航中的选择 Query Workbench，然后从数据来源下拉列表中选择该 Amazon S3 数据来源。

要设置以 Parquet 格式存储在 S3 中的 VPC 流日志表，请运行以下查询：

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

创建该表后，运行以下查询以确保其与直接查询兼容：

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

为常用 Amazon 日志类型设置集成

您可以将存储在 Amazon S3 中的 Amazon 日志类型与 OpenSearch 服务集成。使用 OpenSearch 控制面板安装集成，可用于创建 Amazon Glue Data Catalog 表、已保存的查询和控制面板的集成。这些集成使用索引视图来更新仪表板。

有关安装集成的说明，请参阅 OpenSearch文档中的安装集成资产。

选择集成时，请确保其包含S3 Glue标签。

设置集成时，请为连接类型指定 S3 连接。然后，选择集成的数据来源、数据的 Amazon S3 位置、用于管理加速索引的检查点以及应用场景所需的资产。

注意

确保您的检查点的 S3 存储桶具有该检查点位置的写入权限。如果没有这些权限，集成加速将会失败。

设置访问控制

在数据来源的详细信息页面上，找到访问控制部分，然后选择编辑。如果域启用了精细访问控制，请选择受限，然后选择要向哪些角色提供对新数据来源的访问权限。如果您只想让管理员访问数据来源，也可以选择仅管理员。

重要

索引用于针对数据来源的任何查询。对给定数据来源的请求索引具有读取权限的用户可以读取针对该数据来源的所有查询。对结果索引具有读取权限的用户可以读取针对该数据来源的所有查询的结果。

在 “ OpenSearch发现” 中查询 S3 数据

设置表并配置所需的可选查询加速后，您可以开始分析数据。要查询数据，请从下拉菜单中选择您的数据来源。如果您使用的是 Amazon S3 和 OpenSearch 控制面板，请前往发现并选择数据源名称。

如果您使用跳过索引或尚未创建索引，则可以使用 SQL 或 PPL 来查询数据。如果您已配置实体化视图或覆盖索引，则您已有索引，并可在整个控制面板中使用控制面板查询语言（DQL）。您也可以将 PPL 与可观测性插件结合使用，将 SQL 与查询工作台插件结合使用。目前，只有可观测性和查询工作台插件支持 PPL 和 SQL。要使用 S OpenSearch ervice API 查询数据，请参阅 async API 文档。

注意

并非所有 SQL 和 PPL 语句、命令和功能都受支持。有关受支持命令的列表，请参阅支持的 SQL 和 PPL 命令。

如果您创建了物化视图或覆盖索引，则可以使用 DQL 来查询数据，前提是您已在其中对其进行了索引。

故障排除

在某些情况下，返回的结果可能不合预期。如果您遇到任何问题，请务必执行以下操作关于在 Amazon OpenSearch 服务中使用直接查询的建议。