本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Athena Redshift 连接器
Amazon Athena Redshift 连接器使 Amazon Athena 可以访问 Amazon Redshift 数据库。
先决条件
可以使用 Athena 控制台或 Amazon Serverless Application Repository 将该连接器部署到您的 Amazon Web Services 账户。有关更多信息,请参阅 部署数据来源连接器 或 使用 Amazon Serverless Application Repository 部署数据源连接器。
限制
-
不支持写入 DDL 操作。
-
在多路复用器设置中,溢出桶和前缀在所有数据库实例之间共享。
-
任何相关的 Lambda 限制。有关更多信息,请参阅《Amazon Lambda 开发人员指南》中的 Lambda 配额。
-
由于 Redshift 不支持外部分区,因此每次都会检索查询指定的所有数据。
术语
以下术语与 Redshift 连接器有关。
-
数据库实例 — 部署在本地、Amazon EC2 或 Amazon RDS 上的任何数据库实例。
-
处理程序 — 访问您数据库实例的 Lambda 处理程序。处理程序可以用于元数据或数据记录。
-
元数据处理程序 — 从您的数据库实例中检索元数据的 Lambda 处理程序。
-
记录处理程序 — 从您的数据库实例中检索数据记录的 Lambda 处理程序。
-
复合处理程序 — 从您的数据库实例中检索元数据和数据记录的 Lambda 处理程序。
-
属性或参数 — 处理程序用来提取数据库信息的数据库属性。您可以将这些属性配置为 Lambda 环境变量。
-
连接字符串 — 用于建立数据库实例连接的文本字符串。
-
目录 — 向 Athena 注册的非 Amazon Glue 目录,是
connection_string
属性的必要前缀。 -
多路复用处理程序 — 可以接受和使用多个数据库连接的 Lambda 处理程序。
参数
使用本节中的 Lambda 环境变量来配置 Redshift 连接器。
连接字符串
使用以下格式的 JDBC 连接字符串连接到数据库实例。
redshift://${
jdbc_connection_string
}
使用多路复用处理程序
您可以使用多路复用器通过单个 Lambda 函数连接到多个数据库实例。按目录名称来路由请求。在 Lambda 中使用以下类。
处理程序 | 类 |
---|---|
复合处理程序 | RedshiftMuxCompositeHandler |
元数据处理程序 | RedshiftMuxMetadataHandler |
记录处理程序 | RedshiftMuxRecordHandler |
多路复用处理程序参数
参数 | 描述 |
---|---|
$ |
必需。数据库实例连接字符串。将 Athena 中使用的目录的名称作为环境变量前缀。例如,如果向 Athena 注册的目录是 myredshiftcatalog ,则环境变量名称是 myredshiftcatalog_connection_string 。 |
default |
必需。默认连接字符串。目录为 lambda:${ AWS_LAMBDA_FUNCTION_NAME } 时使用此字符串。 |
以下示例属性适用于支持两个数据库实例的 Redshift MUX Lambda 函数:redshift1
(默认)和 redshift2
。
属性 | 值 |
---|---|
default |
redshift://jdbc:redshift://redshift1.host:5439/dev?user=sample2&password=sample2 |
redshift_catalog1_connection_string |
redshift://jdbc:redshift://redshift1.host:3306/default?${Test/RDS/Redshift1} |
redshift_catalog2_connection_string |
redshift://jdbc:redshift://redshift2.host:3333/default?user=sample2&password=sample2 |
提供凭证
要在 JDBC 连接字符串中为数据库提供用户名和密码,可以使用连接字符串属性或 Amazon Secrets Manager。
-
连接字符串 — 可以将用户名和密码指定为 JDBC 连接字符串中的属性。
重要
作为安全最佳实践,请勿在您的环境变量或连接字符串中使用硬编码凭证。有关将硬编码密钥移至 Amazon Secrets Manager 的信息,请参阅《Amazon Secrets Manager 用户指南》中的将硬编码密钥移至 Amazon Secrets Manager。
-
Amazon Secrets Manager - 要将 Athena 联合查询功能与 Amazon Secrets Manager 配合使用,连接到您的 Lambda 函数的 VPC 应该拥有互联网访问权限
或者 VPC 端点,以连接到 Secrets Manager。 您可以将 Amazon Secrets Manager 中的密钥名称放入您的 JDBC 连接字符串中。连接器将该密钥名称替换为来自 Secrets Manager 的
username
和password
值。对于 Amazon RDS 数据库实例,将紧密集成这种支持。如果您使用 Amazon RDS,我们强烈建议您使用 Amazon Secrets Manager 和凭证轮换。如果您的数据库不使用 Amazon RDS,请按以下格式将凭证存储为 JSON:
{"username": "${username}", "password": "${password}"}
带有密钥名称的示例连接字符串
以下字符串带有密钥名称 ${Test/RDS/Redshift1
}。
redshift://jdbc:redshift://redshift1.host:3306/default?...&${Test/RDS/Redshift1}&...
该连接器使用该密钥名称来检索密钥,并提供用户名和密码,如以下示例所示。
redshift://jdbc:redshift://redshift1.host:3306/default?...&user=sample2&password=sample2&...
目前,Redshift 连接器可以识别 user
和 password
JDBC 属性。
溢出参数
Lambda 开发工具包可以将数据溢出到 Amazon S3。由同一 Lambda 函数访问的所有数据库实例都会溢出到同一位置。
参数 | 描述 |
---|---|
spill_bucket |
必需。溢出桶名称。 |
spill_prefix |
必需。溢出桶密钥前缀。 |
spill_put_request_headers |
(可选)用于溢出的 Amazon S3 putObject 请求的请求标头和值的 JSON 编码映射(例如,{"x-amz-server-side-encryption" :
"AES256"} )。有关其他可能的标头,请参阅《Amazon Simple Storage Service API 参考》中的 PutObject。 |
数据类型支持
下表显示了适用于 JDBC 和 Apache Arrow 的相应数据类型。
JDBC | Arrow |
---|---|
布尔值 | 位 |
整数 | Tiny |
短型 | Smallint |
整数 | Int |
长整型 | Bigint |
float | Float4 |
Double | Float8 |
日期 | DateDay |
时间戳 | DateMilli |
字符串 | Varchar |
字节 | Varbinary |
BigDecimal | 十进制 |
ARRAY | List |
分区和拆分
Redshift 不支持外部分区。有关性能相关问题的信息,请参阅 性能。
性能
Athena Redshift 连接器执行谓词下推,以减少查询扫描的数据。LIMIT
子句、ORDER BY
子句、简单谓词和复杂表达式将下推到连接器,以减少扫描数据量并缩短查询执行的运行时间。但是,选择一部分列有时会导致查询执行的运行时间延长。当您同时运行多个查询时,Amazon Redshift 特别容易受到查询执行速度减慢的影响。
LIMIT 子句
LIMIT N
语句用于减少查询扫描的数据量。LIMIT N
下推时,连接器仅向 Athena 返回 N
行。
前 N 个查询
前 N
个查询用于指定结果集的顺序以及返回的行数限值。您可以使用此类查询确定数据集的前 N
个最大值或前 N
个最小值。前 N
个查询下推时,连接器仅向 Athena 返回 N
个已排序行。
Predicates
谓词是 SQL 查询的 WHERE
子句中的表达式,其评估结果为布尔值并根据多个条件筛选行。Athena Redshift 连接器可以组合这些表达式并将其直接推送到 Redshift,以增强功能并减少扫描的数据量。
以下 Athena Redshift 连接器运算符支持谓词下推:
-
布尔值:AND、OR、NOT
-
相等:EQUAL、NOT_EQUAL、LESS_THAN、LESS_THAN_OR_EQUAL、GREATER_THAN、GREATER_THAN_OR_EQUAL、IS_DISTINCT_FROM、NULL_IF、IS_NULL
-
算术:ADD、SUBTRACT、MULTIPLY、DIVIDE、MODULUS、NEGATE
-
其他:LIKE_PATTERN、IN
组合下推示例
要增强查询功能,组合下推类型,如以下示例所示:
SELECT * FROM my_table WHERE col_a > 10 AND ((col_a + col_b) > (col_c % col_d)) AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') ORDER BY col_a DESC LIMIT 10;
有关使用谓词下推来提高联合查询(包括 Amazon Redshift)性能的文章,请参阅 Amazon 大数据博客中的在 Amazon Athena 中使用谓词下推改善联合查询
另请参阅
有关最新 JDBC 驱动程序版本信息,请参见 GitHub.com 上适用于 Redshift 连接器的 pom.xml
有关此连接器的更多信息,请访问 GitHub.com 上的相应站点