查询 API - Amazon Lake Formation
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查询 API

查询 API 允许您共享中管理的数据湖的事务一致性数据Amazon S3、Amazon Redshift和其他Amazon服务。

数据类型

WorkUnit 范围结构

定义用于查询执行服务的工作单元 ID 的有效范围。

字段

  • WorkUnitIdMax:必需 数字 (long)。

    定义范围内的最大工作单元 ID。最大值包括在内。

  • WorkUnitIdMin:必需 数字 (long)。

    定义范围内的最小工作单元 ID。

  • WorkUnitToken:必需 UTF-8 字符串。

    用于查询执行服务的工作令牌。

GetWorkUnits 响应结构

输出的结构。

字段

  • NextToken – UTF-8 字符串。

    对返回的标记列表进行分页的延续令牌 (如果列表的当前片段不是最后一个,则返回)。

  • QueryId:必需 UTF-8 字符串。

    计划查询操作的 ID。

  • WorkUnitRanges:必需 WorkUnit 范围 对象数组。

    一个WorkUnitRangeList对象,该对象指定用于查询执行服务的工作单元 ID 的有效范围。

GetQueryState 响应结构

输出的结构。

字段

  • Error – UTF-8 字符串。

    在操作失败时显示错误消息。

  • State:必需 UTF-8 字符串(有效值:PENDING=""|WORKUNITS_AVAILABLE=""|ERROR=""|FINISHED=""|EXPIRED="")。

    之前提交的查询的状态。可能的状态包括:

    • 待定:查询处于待处理状态。

    • WORKUNITS_SALABLE:一些工作单元已准备好进行检索和执行。

    • 已完成:查询计划已成功完成,所有工作单元都已准备好进行检索和执行。

    • 错误:查询发生错误,例如无效的查询 ID 或后端错误。

GetWorkUnit 结果

输出的结构。

字段

  • ResultStream – Blob。

    从返回的行GetWorkUnitResults作为 Apache Arrow v1.0 消息的流进行操作。

查询计划上下文结构

包含有关查询计划信息的结构。

字段

  • CatalogId – 目录 id 字符串,长度不少于 1 个字节或超过 255 个字节,与 Single-line string pattern 匹配。

    所涉分区所在的数据目录的 ID。如果没有提供,则默认情况下使用 Amazon 账户 ID。

  • DatabaseName:必需 匹配 UTF-8 字符串,至少 1 个字节,与匹配Single-line string pattern.

    包含该表的数据库。

  • QueryAsOfTime – 时间戳。

    截至读取表内容的时间。如果未设置,将使用最近的事务提交时间。无法与 TransactionId 一起指定。

  • QueryParameters – 键值对的映射数组。

    每个键是一个 UTF-8 字符串。

    每个值是一个 UTF-8 字符串。

    由键值对组成的映射。

  • TransactionId – UTF-8 字符串,长度不少于 1 个字节或超过 255 个字节,与 Custom string pattern #11 匹配。

    在该 ID 处读取表内容的事务 ID。如果未提交此事务,则读取将被视为该事务的一部分,并将看到其写入内容。如果此事务已中止,将返回错误。如果未设置,则默认为最近提交的事务。无法与 QueryAsOfTime 一起指定。

执行/统计结构

与处理查询语句相关的统计信息。

字段

  • AverageExecutionTimeMillis – 数字(长型)。

    执行请求的平均时间。

  • DataScannedBytes – 数字(长型)。

    扫描的数据量(以字节为单位)。

  • WorkUnitsExecutedCount – 数字(长型)。

    已执行的工作单位的数量。

规划/统计结构

与处理查询语句相关的统计信息。

字段

  • EstimatedDataToScanBytes – 数字(长型)。

    以字节为单位的扫描数据的估计值。

  • PlanningTimeMillis – 数字(长型)。

    处理请求所花费的时间。

  • QueueTimeMillis – 数字(长型)。

    请求排队等待处理的时间。

  • WorkUnitsGeneratedCount – 数字(长型)。

    生成的工作单元的数量。

操作

StartQueryPlanning 操作(Python:start_query_plan)

提交处理查询语句的请求。

此操作生成的工作单元可以使用GetWorkUnits只要查询状态为 WORKUNITS_SALABLE 或已完成,就会立即操作。

请求

  • QueryPlanningContext:必需 一个 查询规划上下文 对象。

    包含有关查询计划信息的结构。

  • QueryString:必需 UTF-8 字符串,至少为 1 个字节。

    用作计划程序服务输入的 PartiQL 查询语句。

响应

输出的结构。

  • QueryId:必需 UTF-8 字符串。

    计划查询操作的 ID 可用于获取作为操作结果生成的实际工作单元描述符。ID 还用于获取查询状态并作为输入Executeoperation.

错误

  • InternalServiceException

  • InvalidInputException

  • AccessDeniedException

  • ThrottledException

GetQueryState 操作(Python:get_query_state)

返回之前提交的查询的状态。客户应该进行民意调查GetQueryState以便在检索工作单元之前监控计划的当前状态。查询状态只对进行初始调用的委托人可见StartQueryPlanning.

请求

  • QueryId:必需 UTF-8 字符串,长度不少于 36 个字节或超过 36 个字节。

    计划查询操作的 ID。

响应

输出的结构。

  • Error – UTF-8 字符串。

    在操作失败时显示错误消息。

  • State:必需 UTF-8 字符串(有效值:PENDING=""|WORKUNITS_AVAILABLE=""|ERROR=""|FINISHED=""|EXPIRED="")。

    之前提交的查询的状态。可能的状态包括:

    • 待定:查询处于待处理状态。

    • WORKUNITS_SALABLE:一些工作单元已准备好进行检索和执行。

    • 已完成:查询计划已成功完成,所有工作单元都已准备好进行检索和执行。

    • 错误:查询发生错误,例如无效的查询 ID 或后端错误。

错误

  • InternalServiceException

  • InvalidInputException

  • AccessDeniedException

GetWorkUnits 操作(Python:get_Work_Units)

检索由StartQueryPlanningoperation.

请求

  • NextToken – UTF-8 字符串。

    延续标记 (如果这是延续调用)。

  • PageSize – 数字 (integer)。

    进入的每个页面的大小Amazon服务电话。这不会影响命令的输出中返回的项目数。设置较小的页面大小会导致对Amazon服务,每次调用检索的项目数较少。这有助于防止Amazon超时服务调用。

  • QueryId:必需 UTF-8 字符串,长度不少于 36 个字节或超过 36 个字节。

    计划查询操作的 ID。

响应

输出的结构。

  • NextToken – UTF-8 字符串。

    对返回的标记列表进行分页的延续令牌 (如果列表的当前片段不是最后一个,则返回)。

  • QueryId:必需 UTF-8 字符串。

    计划查询操作的 ID。

  • WorkUnitRanges:必需 WorkUnit 范围 对象数组。

    一个WorkUnitRangeList对象,该对象指定用于查询执行服务的工作单元 ID 的有效范围。

错误

  • WorkUnitsNotReadyYetException

  • InternalServiceException

  • InvalidInputException

  • AccessDeniedException

  • ExpiredException

GetWorkUnit 结果操作(Python:get_work_unit_Results)

返回查询生成的工作单元。工作单位可以按任意顺序并行执行。

请求

  • QueryId:必需 UTF-8 字符串,长度不少于 36 个字节或超过 36 个字节。

    要获取结果的计划查询操作的 ID。

  • WorkUnitId:必需 数字 (long),至多为 “无”。

    要获得结果的工作单元 ID。枚举生成的值WorkUnitIdMinWorkUnitIdMax(含)WorkUnitRange在的输出中GetWorkUnits.

  • WorkUnitToken:必需 UTF-8 字符串,至少为 1 个字节。

    用于查询执行服务的工作令牌。令牌输出来自GetWorkUnits.

响应

输出的结构。

  • ResultStream – Blob。

    从返回的行GetWorkUnitResults作为 Apache Arrow v1.0 消息的流进行操作。

错误

  • InternalServiceException

  • InvalidInputException

  • AccessDeniedException

  • ExpiredException

  • ThrottledException

GetQueryStartyStartyStartyInstistics 操作(Python:get_query_统计)

检索有关计划和执行查询的统计信息。

请求

  • QueryId:必需 UTF-8 字符串,长度不少于 36 个字节或超过 36 个字节。

    计划查询操作的 ID。

响应

  • ExecutionStatistics – 一个 执行统计 对象。

    网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的ExecutionStatistics结构包含执行统计信息。

  • PlanningStatistics – 一个 规划统计/统计 对象。

    一个PlanningStatistics结构包含查询规划统计信息。

  • QuerySubmissionTime – UTF-8 字符串。

    提交查询的时间。

错误

  • StatisticsNotReadyYetException

  • InternalServiceException

  • InvalidInputException

  • AccessDeniedException

  • ExpiredException

  • ThrottledException

异常

IntoReadyetCreadyet 异常结构

包含有关统计信息未准备就绪的错误的详细信息。

字段

  • Message – UTF-8 字符串。

    描述错误的消息。

WorkUnteReadyet 异常结构

包含与工作单元尚未准备就绪相关的错误的详细信息。

字段

  • Message – UTF-8 字符串。

    描述错误的消息。

ExcireExeption 结构

包含有关查询请求过期的错误的详细信息。

字段

  • Message – UTF-8 字符串。

    描述错误的消息。

CLOTTLEException 结构

包含有关限制查询请求的错误的详细信息。

字段

  • Message – UTF-8 字符串。

    描述错误的消息。