在 OpenSearch 控制面板中配置和查询 S3 数据源 - 亚马逊 OpenSearch 服务
使用 Query Workbench 创建 Spark 表为常用 Amazon 日志类型设置集成设置访问控制查询数据故障排除
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 OpenSearch 控制面板中配置和查询 S3 数据源

现在，您已创建数据来源，可以配置安全设置、定义 Amazon S3 表或设置加速数据索引。在查询数据之前，本节将引导您了解 OpenSearch 仪表板中数据源的各种用例。

要配置以下部分，必须先在 OpenSearch 仪表板中导航到您的数据源。在左侧导航的管理下，选择数据来源。在管理数据来源下，选择您在控制台中创建的数据来源的名称。

使用 Query Workbench 创建 Spark 表

从 OpenSearch 服务直接查询到 Amazon S3 使用中的 Spark 表 Amazon Glue Data Catalog。您可以从查询工作台中创建表格，而不必离开 OpenSearch 控制面板。

要管理数据源中的现有数据库和表，或者要创建要使用直接查询的新表，请从左侧导航栏中选择 Query Workbench，然后从数据源下拉列表中选择 Amazon S3 数据源。

要为以 Parquet 格式存储在 S3 中的VPC流日志设置表，请运行以下查询：

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

创建该表后，运行以下查询以确保其与直接查询兼容：

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

为常用 Amazon 日志类型设置集成

您可以将存储在 Amazon S3 中的 Amazon 日志类型与 OpenSearch 服务集成。使用 OpenSearch 仪表板安装用于创建 Amazon Glue Data Catalog 表格、保存的查询和仪表板的集成。这些集成使用索引视图来更新仪表板。

有关安装集成的说明，请参阅 OpenSearch文档中的安装集成资产。

选择集成时，请确保其包含S3 Glue标签。

设置集成时，请为连接类型指定 S3 连接。然后，选择集成的数据源、数据的 Amazon S3 位置、管理加速索引的检查点以及您的用例所需的资产。

注意

确保您的检查点的 S3 存储桶具有该检查点位置的写入权限。如果没有这些权限，集成的加速将失败。

设置访问控制

在数据来源的详细信息页面上，找到访问控制部分，然后选择编辑。如果域启用了细粒度访问控制，请选择 “受限制”，然后选择要向哪些角色提供对新数据源的访问权限。如果您只想让管理员访问数据来源，也可以选择仅管理员。

重要

索引用于针对数据来源的任何查询。对给定数据来源的请求索引具有读取权限的用户可以读取针对该数据来源的所有查询。对结果索引具有读取权限的用户可以读取针对该数据来源的所有查询的结果。

在 “ OpenSearch发现” 中查询 S3 数据

设置表并配置所需的可选查询加速后，就可以开始分析数据了。要查询您的数据，请从下拉菜单中选择您的数据源。如果您使用的是 Amazon S3 和 OpenSearch 控制面板，请前往 “发现” 并选择数据源名称。

如果您使用的是跳过索引或尚未创建索引，则可以使用SQL或PPL来查询您的数据。如果您配置了物化视图或覆盖索引，则您已经有了索引，并且可以在整个仪表板中使用仪表板查询语言 (DQL)。您也可以使用PPL可观察性插件和 SQL Query Workbench 插件。目前，只有可观测性和查询工作台插件支持PPL和。SQL要使用 OpenSearch 服务查询数据API，请参阅异步API文档。

注意

并非支持所有 SQL an PPL d 语句、命令和函数。有关支持的命令的列表，请参阅支持SQL和PPL命令。

如果您创建了物化视图或覆盖索引，则可以使用DQL来查询数据，前提是您已在其中对其进行了索引。

故障排除

在某些情况下，返回的结果可能不合预期。如果您遇到任何问题，请务必遵循以下内容直接查询入门的重要建议。