Amazon Athena Azure Synapse 连接器 - Amazon Athena
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Athena Azure Synapse 连接器

适用于 Azure Synapse Analytics 的 Amazon Athena 连接器使 Amazon Athena 能够使用 JDBC 在您的 Azure Synapse 数据库上运行 SQL 查询。

先决条件

限制

  • 不支持写入 DDL 操作。

  • 在多路复用器设置中,溢出桶和前缀在所有数据库实例之间共享。

  • 任何相关的 Lambda 限制。有关更多信息,请参阅《Amazon Lambda 开发人员指南》中的 Lambda 配额

  • 在筛选条件中,必须将 DateTimestamp 数据类型转换为适当的数据类型。

  • 要搜索类型 RealFloat 的负值,请使用 <=>= 运算符。

  • 不支持 binaryvarbinaryimagerowversion 数据类型。

术语

以下术语与 Synapse 连接器有关。

  • 数据库实例 — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。

  • 处理程序 — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。

  • 元数据处理程序 — 从您的数据库实例中检索元数据的 Lambda 处理程序。

  • 记录处理程序 — 从您的数据库实例中检索数据记录的 Lambda 处理程序。

  • 复合处理程序 — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。

  • 属性或参数 — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。

  • 连接字符串 — 用于建立数据库实例连接的文本字符串。

  • 目录 — 向 Athena 注册的非 Amazon Glue 目录,是 connection_string 属性的必要前缀。

  • 多路复用处理程序 — 可以接受和使用多个数据库连接的 Lambda 处理程序。

参数

使用本节中的 Lambda 环境变量来配置 Synapse 连接器。

连接字符串

使用以下格式的 JDBC 连接字符串连接到数据库实例。

synapse://${jdbc_connection_string}

使用多路复用处理程序

您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。

处理程序
复合处理程序 SynapseMuxCompositeHandler
元数据处理程序 SynapseMuxMetadataHandler
记录处理程序 SynapseMuxRecordHandler

多路复用处理程序参数

参数 描述
$catalog_connection_string 必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如,如果向 Athena 注册的目录是 mysynapsecatalog,则环境变量名称是 mysynapsecatalog_connection_string
default 必需。默认连接字符串。目录为 lambda:${AWS_LAMBDA_FUNCTION_NAME} 时使用此字符串。

以下示例属性适用于支持两个数据库实例的 Synapse MUX Lambda 函数:synapse1(默认)和 synapse2

属性
default synapse://jdbc:synapse://synapse1.hostname:port;databaseName=<database_name>;${secret1_name}
synapse_catalog1_connection_string synapse://jdbc:synapse://synapse1.hostname:port;databaseName=<database_name>;${secret1_name}
synapse_catalog2_connection_string synapse://jdbc:synapse://synapse2.hostname:port;databaseName=<database_name>;${secret2_name}

提供凭证

要在 JDBC 连接字符串中为数据库提供用户名和密码,可以使用连接字符串属性或 Amazon Secrets Manager。

  • 连接字符串 — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。

    重要

    作为安全最佳实践,请勿在您的环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移至 Amazon Secrets Manager 的信息,请参阅《Amazon Secrets Manager 用户指南》中的将硬编码密钥移至 Amazon Secrets Manager

  • Amazon Secrets Manager - 要将 Athena 联合查询功能与 Amazon Secrets Manager 配合使用,连接到您的 Lambda 函数的 VPC 应该拥有互联网访问权限或者 VPC 端点,以连接到 Secrets Manager。

    您可以将 Amazon Secrets Manager 中的密钥名称放入您的 JDBC 连接字符串中。连接器将该密钥名称替换为来自 Secrets Manager 的 usernamepassword 值。

    对于 Amazon RDS 数据库实例,将紧密集成这种支持。如果您使用 Amazon RDS,我们强烈建议您使用 Amazon Secrets Manager 和凭证轮换。如果您的数据库不使用 Amazon RDS,请按以下格式将凭证存储为 JSON:

    {"username": "${username}", "password": "${password}"}
带有密钥名称的示例连接字符串

以下字符串带有密钥名称 ${secret_name}。

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;${secret_name}

该连接器使用该密钥名称来检索密钥,并提供用户名和密码,如以下示例所示。

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;user=<user>;password=<password>

使用单个连接处理程序

您可以使用以下单个连接元数据和记录处理程序连接到单个 Synapse 实例。

处理程序类型
复合处理程序 SynapseCompositeHandler
元数据处理程序 SynapseMetadataHandler
记录处理程序 SynapseRecordHandler

单个连接处理程序参数

参数 描述
default 必需。默认连接字符串。

单个连接处理程序支持一个数据库实例,并且必须提供 default 连接字符串参数。将忽略所有其他连接字符串。

以下示例属性适用于 Lambda 函数支持的单个 Synapse 实例。

属性
default synapse://jdbc:sqlserver://hostname:port;databaseName=<database_name>;${secret_name}

配置 Active Directory 身份验证

Amazon Athena Azure Synapse 连接器支持 Microsoft Active Directory 身份验证。在开始之前,必须在 Microsoft Azure 门户中配置管理用户,然后使用 Amazon Secrets Manager 创建密钥。

设置 Active Directory 管理用户
  1. 使用具有管理权限的帐户,登录 Microsoft Azure 门户,网址为 https://portal.azure.com/

  2. 在搜索框中,输入 Azure Synapse Analytics,然后选择 Azure Synapse Analytics

    
                            选择 Azure Synapse Analytics。
  3. 打开左侧菜单。

    
                            选择 Azure 门户菜单。
  4. 在导航窗格中,选择 Azure Active Directory

  5. 设置管理员选项卡中,将 Active Directory 管理员设置为新用户或现有用户。

    
                            使用设置管理员选项卡
  6. 在 Amazon Secrets Manager 中,存储管理员用户名和密码凭证。有关在 Secrets Manager 中创建密钥的信息,请参阅创建 Amazon Secrets Manager 密钥

在 Secrets Manager 中查看密钥
  1. https://console.aws.amazon.com/secretsmanager/ 打开 Secrets Manager 控制台

  2. 在导航窗格中,选择 Secrets(密钥)。

  3. Secrets(密钥)页面,选择密钥链接。

  4. 在密钥的详细信息页面上,选择 Retrieve secret value(检索密钥值)。

    
                            在 Amazon Secrets Manager 中查看密钥。

修改连接字符串

要为连接器启用 Active Directory 身份验证,使用以下语法修改连接字符串:

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}
使用 ActiveDirectoryServicePrincipal

Amazon Athena Azure Synapse 连接器还支持 ActiveDirectoryServicePrincipal。要启用此项,如下所示修改连接字符串。

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

对于 secret_name,将应用程序或客户端 ID 指定为用户名,并在密码中指定服务主体身份的密钥。

溢出参数

Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。

参数 描述
spill_bucket 必需。溢出桶名称。
spill_prefix 必需。溢出桶密钥前缀。
spill_put_request_headers (可选)用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射(例如,{"x-amz-server-side-encryption" : "AES256"})。有关其他可能的标头,请参阅《Amazon Simple Storage Service API 参考》中的 PutObject

数据类型支持

下表显示了适用于 Synapse 和 Apache Arrow 的相应数据类型。

Synapse Arrow
bit TINYINT
tinyint SMALLINT
smallint SMALLINT
int INT
bigint BIGINT
decimal DECIMAL
numeric FLOAT8
smallmoney FLOAT8
money DECIMAL
float[24] FLOAT4
float[53] FLOAT8
real FLOAT4
datetime Date(MILLISECOND)
datetime2 Date(MILLISECOND)
smalldatetime Date(MILLISECOND)
date Date(DAY)
time VARCHAR
datetimeoffset Date(MILLISECOND)
char[n] VARCHAR
varchar[n/max] VARCHAR
nchar[n] VARCHAR
nvarchar[n/max] VARCHAR

分区和拆分

分区由类型为 varchar 的单个分区列表示。Synapse 支持范围分区,因此分区通过从 Synapse 元数据表中提取分区列和分区范围来实现。这些范围值用于创建拆分。

性能

选择列的子集会显著减少查询运行时。由于并发,连接器显示出严重的节流。

Athena Synapse 连接器可执行谓词下推,以减少查询扫描的数据量。简单谓词和复杂表达式将下推到连接器,以减少扫描的数据量并缩短查询执行的运行时间。

Predicates

谓词是 SQL 查询的 WHERE 子句中的表达式,其评估结果为布尔值并根据多个条件筛选行。Athena Synapse 连接器可以组合这些表达式并将其直接推送到 Synapse,以增强功能并减少扫描的数据量。

以下 Athena Synapse 连接器运算符支持谓词下推:

  • 布尔值:AND、OR、NOT

  • 相等:EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、NULL_IF、IS_NULL

  • 算术:ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE

  • 其他:LIKE_PATTERN、IN

组合下推示例

要增强查询功能,组合下推类型,如以下示例所示:

SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

许可证信息

使用此连接器,即表示您确认包含第三方组件(这些组件的列表可在此连接器的 pom.xml 文件中找到),并同意 GitHub.com 上的 LICENSE.txt 文件中提供的相应第三方许可证中的条款。

另请参阅