Amazon Athena SAP HANA 连接器 - Amazon Athena
先决条件限制术语参数数据类型支持数据类型转换分区和拆分Performance许可证信息另请参阅
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon Athena SAP HANA 连接器

先决条件

限制

  • 不支持写入 DDL 操作。

  • 在多路复用器设置中，溢出桶和前缀在所有数据库实例之间共享。

  • 任何相关的 Lambda 限制。有关更多信息，请参阅《Amazon Lambda 开发人员指南》中的 Lambda 配额。

  • 在 SAP HANA 中，当对象名称存储在 SAP HANA 数据库中时，它们会转换为大写形式。但是，由于引号中的名称区分大小写，因此两个表能分别以小写和大写形式具有相同的名称（例如 EMPLOYEE 和 employee)。

    在 Athena 联合查询中，架构表名称以小写形式提供给 Lambda 函数。要解决此问题，您可以提供 @schemaCase 查询提示，用于从名称区分大小写的表中检索数据。以下是两个带有查询提示的示例查询。

    SELECT * 
FROM "lambda:saphanaconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=upper"     
    SELECT * 
FROM "lambda:saphanaconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=lower"

术语

以下术语与 SAP HANA 连接器有关。

  • 数据库实例 — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。

  • 处理程序 — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。

  • 元数据处理程序 — 从您的数据库实例中检索元数据的 Lambda 处理程序。

  • 记录处理程序 — 从您的数据库实例中检索数据记录的 Lambda 处理程序。

  • 复合处理程序 — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。

  • 属性或参数 — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。

  • 连接字符串 — 用于建立数据库实例连接的文本字符串。

  • 目录 — 向 Athena 注册的非Amazon Glue 目录，它是该属性的必填前缀。connection_string

  • 多路复用处理程序 — 可以接受和使用多个数据库连接的 Lambda 处理程序。

参数

使用本节中的 Lambda 环境变量来配置 SAP HANA 连接器。

连接字符串

使用以下格式的 JDBC 连接字符串连接到数据库实例。

saphana://${jdbc_connection_string}

使用多路复用处理程序

您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。

处理程序 类
复合处理程序 SaphanaMuxCompositeHandler
元数据处理程序 SaphanaMuxMetadataHandler
记录处理程序 SaphanaMuxRecordHandler

多路复用处理程序参数

参数 描述
$catalog_connection_string 必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如，如果向 Athena 注册的目录是 mysaphanacatalog，则环境变量名称是 mysaphanacatalog_connection_string。
default 必需。默认连接字符串。目录为 lambda:${AWS_LAMBDA_FUNCTION_NAME} 时使用此字符串。

以下示例属性适用于支持两个数据库实例的 Saphana MUX Lambda 函数：saphana1（默认）和 saphana2。

属性 值
default saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/ Saphana1}
saphana_catalog1_connection_string saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/ Saphana1}
saphana_catalog2_connection_string saphana://jdbc:sap://saphana2.host:port/?user=sample2&password=sample2

提供 凭证

要在 JDBC 连接字符串中为数据库提供用户名和密码，可以使用连接字符串属性或 Amazon Secrets Manager。

  • 连接字符串 — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。

    重要

    作为安全最佳实践，请勿在您的环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移到的信息 Amazon Secrets Manager，请参阅《Amazon Secrets Manager 用户指南》 Amazon Secrets Manager中的将硬编码密钥移至。

  • Amazon Secrets Manager— 要将 Athena 联合查询功能与一起使用 Amazon Secrets Manager，连接到您的 Lambda 函数的 VPC 应具有互联网访问权限或可连接到 Secrets Manager 的 VPC 终端节点。

    您可以在 JDBC 连接字符串 Amazon Secrets Manager 中输入密钥的名称。连接器将该密钥名称替换为来自 Secrets Manager 的 username 和 password 值。

    对于 Amazon RDS 数据库实例，将紧密集成这种支持。如果您使用 Amazon RDS，我们强烈建议您使用 Amazon Secrets Manager 和证书轮换。如果您的数据库不使用 Amazon RDS，请按以下格式将凭证存储为 JSON：

    {"username": "${username}", "password": "${password}"}
带有密钥名称的示例连接字符串

以下字符串带有密钥名称 ${Test/RDS/Saphana1}。

saphana://jdbc:sap://saphana1.host:port/?${Test/RDS/Saphana1}&...

该连接器使用该密钥名称来检索密钥，并提供用户名和密码，如以下示例所示。

saphana://jdbc:sap://saphana1.host:port/?user=sample2&password=sample2&...

目前，SAP HANA 连接器可以识别 user 和 password JDBC 属性。

使用单个连接处理程序

您可以使用以下单个连接元数据和记录处理程序连接到单个 SAP HANA 实例。

处理程序类型 类
复合处理程序 SaphanaCompositeHandler
元数据处理程序 SaphanaMetadataHandler
记录处理程序 SaphanaRecordHandler

单个连接处理程序参数

参数 描述
default 必需。默认连接字符串。

单个连接处理程序支持一个数据库实例，并且必须提供 default 连接字符串参数。将忽略所有其他连接字符串。

以下示例属性适用于 Lambda 函数支持的单个 SAP HANA 实例。

属性 值
default saphana://jdbc:sap://saphana1.host:port/?secret=Test/RDS/Saphana1

溢出参数

Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。

参数 描述
spill_bucket 必需。溢出桶名称。
spill_prefix 必需。溢出桶密钥前缀。
spill_put_request_headers （可选）用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射（例如，{"x-amz-server-side-encryption" : "AES256"})。有关其他可能的标题，请参阅PutObject《亚马逊简单存储服务 API 参考》。

数据类型支持

下表显示了适用于 JDBC 和 Apache Arrow 的相应数据类型。

JDBC Arrow
布尔值 位
整数 Tiny
短型 Smallint
整数 Int
长整型 Bigint
float Float4
Double Float8
Date DateDay
Timestamp DateMilli
字符串 Varchar
字节 Varbinary
BigDecimal 十进制
ARRAY 列出

数据类型转换

除了 JDBC 到 Arrow 的转换外，连接器还执行某些其他转换，以使 SAP HANA 源和 Athena 数据类型兼容。这些转换有助于确保成功执行查询。下表显示了这些转换。

源数据类型 (SAP HANA) 转换后的数据类型 (Athena)
DECIMAL BIGINT
INTEGER INT
DATE DATEDAY
TIMESTAMP DATEMILLI

所有其他不支持的数据类型都转换为 VARCHAR。

分区和拆分

分区由类型为 Integer 的单个分区列表示。该列包含在 SAP HANA 表上定义的分区的分区名称。对于没有分区名称的表，返回 *，相当于单个分区。分区等同于拆分。

名称 Type 描述
PART_ID 整数 SAP HANA 中的命名分区。

Performance

SAP HANA 支持本机分区。Athena SAP HANA 连接器可从这些分区并行检索数据。如果您想查询具有统一分区分布的超大型数据集，强烈建议使用本机分区。选择列的子集可以显著减少查询运行时及扫描的数据。由于并发，连接器显示出严重的节流，有时还会出现查询失败。

Athena SAP HANA 连接器执行谓词下推，以减少查询扫描的数据量。LIMIT 子句、简单谓词和复杂表达式将下推到连接器，以减少扫描数据量并缩短查询执行的运行时间。

LIMIT 子句

LIMIT N 语句用于减少查询扫描的数据量。LIMIT N 下推时，连接器仅向 Athena 返回 N 行。

Predicates

谓词是 SQL 查询的 WHERE 子句中的表达式，其评估结果为布尔值并根据多个条件筛选行。Athena SAP HANA 连接器可以组合这些表达式并将其直接推送到 SAP HANA，以增强功能并减少扫描的数据量。

以下 Athena SAP HANA 连接器运算符支持谓词下推：

  • 布尔值：AND、OR、NOT

  • 相等：EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、IS_DISTINCT_FROM、NULL_IF、IS_NULL

  • 算术：ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE

  • 其他：LIKE_PATTERN、IN

组合下推示例

要增强查询功能，组合下推类型，如以下示例所示：

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

许可证信息

使用此连接器即表示您确认包含第三方组件，其列表可在该连接器的 pom.xml 文件中找到，并同意 GitHub .com 上的 LICENSE.txt 文件中提供的相应第三方许可中的条款。

另请参阅

有关最新的 JDBC 驱动程序版本信息，请参阅 .com 上 GitHub的 SAP HANA 连接器的 pom.xml 文件。

有关此连接器的更多信息，请访问 GitHub .com 上的相应网站。