先决条件限制术语参数数据类型支持分区和拆分 Performance 许可证信息另请参阅

Amazon Athena Azure Synapse 连接器

适用于 Azure Synapse Analytics 的 Amazon Athena 连接器使 Amazon Athena 能够使用 JDBC 在您的 Azure Synapse 数据库上运行 SQL 查询。

先决条件

可以使用 Athena 控制台或 Amazon Serverless Application Repository将该连接器部署到您的 Amazon Web Services 账户。有关更多信息，请参阅部署数据来源连接器或使用 Amazon Serverless Application Repository 部署数据源连接器。

限制

不支持写入 DDL 操作。
在多路复用器设置中，溢出桶和前缀在所有数据库实例之间共享。
任何相关的 Lambda 限制。有关更多信息，请参阅《Amazon Lambda 开发人员指南》中的 Lambda 配额。
在筛选条件中，必须将 Date 和 Timestamp 数据类型转换为适当的数据类型。
要搜索类型 Real 和 Float 的负值，请使用 <= 或 >= 运算符。
不支持 binary、varbinary、image 和 rowversion 数据类型。

术语

以下术语与 Synapse 连接器有关。

数据库实例 — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。
处理程序 — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。
元数据处理程序 — 从您的数据库实例中检索元数据的 Lambda 处理程序。
记录处理程序 — 从您的数据库实例中检索数据记录的 Lambda 处理程序。
复合处理程序 — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。
属性或参数 — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。
连接字符串 — 用于建立数据库实例连接的文本字符串。
目录 — 向 Athena 注册的非Amazon Glue 目录，它是该属性的必填前缀。connection_string
多路复用处理程序 — 可以接受和使用多个数据库连接的 Lambda 处理程序。

参数

使用本节中的 Lambda 环境变量来配置 Synapse 连接器。

连接字符串

使用以下格式的 JDBC 连接字符串连接到数据库实例。


synapse://${jdbc_connection_string}

使用多路复用处理程序

您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。

处理程序	类
复合处理程序	`SynapseMuxCompositeHandler`
元数据处理程序	`SynapseMuxMetadataHandler`
记录处理程序	`SynapseMuxRecordHandler`

多路复用处理程序参数

参数	描述
`$catalog_connection_string`	必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如，如果向 Athena 注册的目录是 `mysynapsecatalog`，则环境变量名称是 `mysynapsecatalog_connection_string`。
`default`	必需。默认连接字符串。目录为 `lambda:${AWS_LAMBDA_FUNCTION_NAME}` 时使用此字符串。

以下示例属性适用于支持两个数据库实例的 Synapse MUX Lambda 函数：synapse1（默认）和 synapse2。

属性	值
`default`	`synapse://jdbc:synapse://synapse1.hostname:port;databaseName=<database_name>;${secret1_name}`
`synapse_catalog1_connection_string`	`synapse://jdbc:synapse://synapse1.hostname:port;databaseName=<database_name>;${secret1_name}`
`synapse_catalog2_connection_string`	`synapse://jdbc:synapse://synapse2.hostname:port;databaseName=<database_name>;${secret2_name}`

提供凭证

要在 JDBC 连接字符串中为数据库提供用户名和密码，可以使用连接字符串属性或 Amazon Secrets Manager。

连接字符串 — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。

重要
作为安全最佳实践，请勿在您的环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移到的信息 Amazon Secrets Manager，请参阅《Amazon Secrets Manager 用户指南》 Amazon Secrets Manager中的将硬编码密钥移至。
Amazon Secrets Manager— 要将 Athena 联合查询功能与一起使用 Amazon Secrets Manager，连接到您的 Lambda 函数的 VPC 应具有互联网访问权限或可连接到 Secrets Manager 的 VPC 终端节点。

您可以在 JDBC 连接字符串 Amazon Secrets Manager 中输入密钥的名称。连接器将该密钥名称替换为来自 Secrets Manager 的 username 和 password 值。

对于 Amazon RDS 数据库实例，将紧密集成这种支持。如果您使用 Amazon RDS，我们强烈建议您使用 Amazon Secrets Manager 和证书轮换。如果您的数据库不使用 Amazon RDS，请按以下格式将凭证存储为 JSON：
```
{"username": "${username}", "password": "${password}"}
```

带有密钥名称的示例连接字符串

以下字符串带有密钥名称 ${secret_name}。


synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;${secret_name}

该连接器使用该密钥名称来检索密钥，并提供用户名和密码，如以下示例所示。


synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;user=<user>;password=<password>

使用单个连接处理程序

您可以使用以下单个连接元数据和记录处理程序连接到单个 Synapse 实例。

处理程序类型	类
复合处理程序	`SynapseCompositeHandler`
元数据处理程序	`SynapseMetadataHandler`
记录处理程序	`SynapseRecordHandler`

单个连接处理程序参数

参数	描述
`default`	必需。默认连接字符串。

单个连接处理程序支持一个数据库实例，并且必须提供 default 连接字符串参数。将忽略所有其他连接字符串。

以下示例属性适用于 Lambda 函数支持的单个 Synapse 实例。

属性	值
`default`	`synapse://jdbc:sqlserver://hostname:port;databaseName=<database_name>;${secret_name}`

配置 Active Directory 身份验证

Amazon Athena Azure Synapse 连接器支持 Microsoft Active Directory 身份验证。在开始之前，必须在 Microsoft Azure 门户中配置管理用户，然后使用 Amazon Secrets Manager 来创建密钥。

设置 Active Directory 管理用户

使用具有管理权限的帐户，登录 Microsoft Azure 门户，网址为 https://portal.azure.com/。
在搜索框中，输入 Azure Synapse Analytics，然后选择 Azure Synapse Analytics。
打开左侧菜单。
在导航窗格中，选择 Azure Active Directory。
在设置管理员选项卡中，将 Active Directory 管理员设置为新用户或现有用户。
在中 Amazon Secrets Manager，存储管理员用户名和密码凭证。有关在 Secrets Manager 中创建密钥的信息，请参阅创建 Amazon Secrets Manager 密钥。

在 Secrets Manager 中查看密钥

打开 Secrets Manager 控制台，网址为 https://console.aws.amazon.com/secretsmanager/。
在导航窗格中，选择 Secrets（密钥）。
在 Secrets（密钥）页面，选择密钥链接。
在密钥的详细信息页面上，选择 Retrieve secret value（检索密钥值）。

修改连接字符串

要为连接器启用 Active Directory 身份验证，使用以下语法修改连接字符串：


synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}

使用 ActiveDirectoryServicePrincipal

Amazon Athena Azure Synapse 连接器还支持 ActiveDirectoryServicePrincipal。要启用此项，如下所示修改连接字符串。


synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

对于 secret_name，将应用程序或客户端 ID 指定为用户名，并在密码中指定服务主体身份的密钥。

溢出参数

Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。

参数	描述
`spill_bucket`	必需。溢出桶名称。
`spill_prefix`	必需。溢出桶密钥前缀。
`spill_put_request_headers`	（可选）用于溢出的 Amazon S3 `putObject` 请求的请求标头和值的 JSON 编码映射（例如，`{"x-amz-server-side-encryption" : "AES256"}`)。有关其他可能的标题，请参阅PutObject《亚马逊简单存储服务 API 参考》。

数据类型支持

下表显示了适用于 Synapse 和 Apache Arrow 的相应数据类型。

Synapse	Arrow
bit	TINYINT
tinyint	SMALLINT
smallint	SMALLINT
int	INT
bigint	BIGINT
decimal	DECIMAL
numeric	FLOAT8
smallmoney	FLOAT8
money	DECIMAL
float[24]	FLOAT4
float[53]	FLOAT8
real	FLOAT4
datetime	Date(MILLISECOND)
datetime2	Date(MILLISECOND)
smalldatetime	Date(MILLISECOND)
date	Date(DAY)
time	VARCHAR
datetimeoffset	Date(MILLISECOND)
char[n]	VARCHAR
varchar[n/max]	VARCHAR
nchar[n]	VARCHAR
nvarchar[n/max]	VARCHAR

分区和拆分

分区由类型为 varchar 的单个分区列表示。Synapse 支持范围分区，因此分区通过从 Synapse 元数据表中提取分区列和分区范围来实现。这些范围值用于创建拆分。

Performance

选择列的子集会显著减少查询运行时。由于并发，连接器显示出严重的节流。

Athena Synapse 连接器可执行谓词下推，以减少查询扫描的数据量。简单谓词和复杂表达式将下推到连接器，以减少扫描的数据量并缩短查询执行的运行时间。

Predicates

谓词是 SQL 查询的 WHERE 子句中的表达式，其评估结果为布尔值并根据多个条件筛选行。Athena Synapse 连接器可以组合这些表达式并将其直接推送到 Synapse，以增强功能并减少扫描的数据量。

以下 Athena Synapse 连接器运算符支持谓词下推：

布尔值：AND、OR、NOT
相等：EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、NULL_IF、IS_NULL
算术：ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE
其他：LIKE_PATTERN、IN

组合下推示例

要增强查询功能，组合下推类型，如以下示例所示：


SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

许可证信息

使用此连接器即表示您确认包含第三方组件，其列表可在该连接器的 pom.xml 文件中找到，并同意 GitHub .com 上的 LICENSE.txt 文件中提供的相应第三方许可中的条款。

另请参阅

有关一篇介绍如何使用亚马逊 QuickSight 和亚马逊雅典娜联合查询为存储在微软 Azure Synapse 数据库中的数据构建仪表板和可视化效果的文章，请参阅大数据博客中的使用亚马逊、 QuickSight亚马逊雅典娜联合查询和微软 Azure Synapse 执行多云分析。Amazon
有关最新的 JDBC 驱动程序版本信息，请参阅 .com 上的 Synapse 连接器的 pom.xml 文件。 GitHub
有关此连接器的更多信息，请访问 GitHub .com 上的相应网站。

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

Azure Data Lake 存储

Cloudera Hive