Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

Redshift 连接

您可以使用 Amazon Glue for Spark 读取和写入 Amazon Redshift 数据库中的表。连接到 Amazon Redshift 数据库时，Amazon Glue 使用 Amazon Redshift SQL COPY 和 UNLOAD 命令并通过 Amazon S3 移动数据以实现最大吞吐量。在 Amazon Glue 4.0 及更高版本中，您可以使用适用于 Apache Spark 的 Amazon Redshift 集成进行读写，除了通过先前版本连接时可用的优化和功能外，还具有特定于 Amazon Redshift 的优化和功能。

了解 Amazon Glue 如何让 Amazon Redshift 用户比以往任何时候都更轻松地迁移到 Amazon Glue 进行无服务器数据集成和 ETL。

配置 Redshift 连接

要在 Amazon Glue 中使用 Amazon Redshift 集群，需要具备一些先决条件：

配置 IAM 角色

为 Amazon Redshift 集群设置角色

您的 Amazon Redshift 集群需要能够读取和写入 Amazon S3，才能与 Amazon Glue 作业集成。为此，您可以将 IAM 角色与要连接的新 Amazon Redshift 集群关联。您的角色应具有允许读取和写入 Amazon S3 临时目录的策略。您的角色应该有信任关系，允许 redshift.amazonaws.com 服务连接到 AssumeRole。

为 Amazon Glue 作业设置角色

Amazon Glue 作业需要角色才能访问 Amazon S3 存储桶。您不需要 Amazon Redshift 集群的 IAM 权限，您的访问权限由 Amazon VPC 中的连接和您的数据库凭证控制。

设置 Amazon VPC

设置 Amazon Glue

您需要创建一个提供 Amazon VPC 连接信息的 Amazon Glue Data Catalog 连接。

示例：从 Amazon Redshift 表中读取

您可以从 Amazon Redshift 集群和 Amazon Redshift Serverless 环境中读取。

先决条件：您想读取的 Amazon Redshift 表。按照上一节 配置 Redshift 连接 中的步骤进行操作，之后您应该拥有临时目录 temp-s3-dir 和 IAM 角色 rs-role-name 的 Amazon S3 URI（在账户 role-account-id 中）。

Using the Data Catalog

其他先决条件：您要从中读取 Amazon Redshift 表的 Data Catalog 数据库和表。有关 Data Catalog 的更多信息，请参阅 Amazon Glue 中的数据发现和编目。为 Amazon Redshift 表创建条目后，您将使用 redshift-dc-database-name 和 redshift-table-name 来标识连接。

配置：在函数选项中，您将使用 database 和 table_name 参数标识数据目录表。您将使用 redshift_tmp_dir 标识 Amazon S3 临时目录。您还将使用 additional_options 参数中的 aws_iam_role 键提供 rs-role-name。

 glueContext.create_dynamic_frame.from_catalog(
    database = "redshift-dc-database-name", 
    table_name = "redshift-table-name", 
    redshift_tmp_dir = args["temp-s3-dir"], 
    additional_options = {"aws_iam_role": "arn:aws:iam::role-account-id:role/rs-role-name"}) 
        

Connecting directly

其他先决条件：您需要 Amazon Redshift 表的名称（redshift-table-name）。您将需要存储该表的 Amazon Redshift 集群的 JDBC 连接信息。您将提供连接信息，包括主机、端口、redshift-database-name、用户名和密码。

使用 Amazon Redshift 集群时，您可以从 Amazon Redshift 控制台检索连接信息。使用 Amazon Redshift Serverless 时，请参阅 Amazon Redshift 文档中的 Connecting to Amazon Redshift Serverless。

配置：在函数选项中，您将使用 url、dbtable、user 和 password 参数标识连接参数。您将使用 redshift_tmp_dir 标识 Amazon S3 临时目录。您可以在使用 aws_iam_role 时使用 from_options 来指定 IAM 角色。语法类似于通过 Data Catalog 进行连接，但您可以将参数放在 connection_options 地图中。

将密码硬编码为 Amazon Glue 脚本不是好的做法。考虑使用 SDK for Python (Boto3) 将密码存储在 Amazon Secrets Manager 中并检索。

my_conn_options = {  
    "url": "jdbc:redshift://host:port/redshift-database-name",
    "dbtable": "redshift-table-name",
    "user": "username",
    "password": "password",
    "redshiftTmpDir": args["temp-s3-dir"],
    "aws_iam_role": "arn:aws:iam::account id:role/rs-role-name"
}

df = glueContext.create_dynamic_frame.from_options("redshift", my_conn_options)
        

示例：写入 Amazon Redshift 表

您可以写入 Amazon Redshift 集群和 Amazon Redshift Serverless 环境。

先决条件：一个 Amazon Redshift 集群，以及按照上一节 配置 Redshift 连接 中的步骤进行操作，之后您应该拥有临时目录 temp-s3-dir 和 IAM 角色 rs-role-name 的 Amazon S3 URI（在账户 role-account-id 中）。您还需要想写入数据库的内容的 DynamicFrame。

Using the Data Catalog

其他先决条件：您要对其写入的 Amazon Redshift 集群和表的 Data Catalog 数据库。有关 Data Catalog 的更多信息，请参阅 Amazon Glue 中的数据发现和编目。您将使用 redshift-dc-database-name 标识连接，使用 redshift-table-name 标识目标表。

配置：在函数选项中，您将使用 database 参数标识 Data Catalog 数据库，并为表提供 table_name。您将使用 redshift_tmp_dir 标识 Amazon S3 临时目录。您还将使用 additional_options 参数中的 aws_iam_role 键提供 rs-role-name。

 glueContext.write_dynamic_frame.from_catalog(
    frame = input dynamic frame, 
    database = "redshift-dc-database-name", 
    table_name = "redshift-table-name", 
    redshift_tmp_dir = args["temp-s3-dir"], 
    additional_options = {"aws_iam_role": "arn:aws:iam::account-id:role/rs-role-name"}) 
        

Connecting through a Amazon Glue connection

您可以使用 write_dynamic_frame.from_options 方法直接连接到 Amazon Redshift。但是，与其将连接详细信息直接插入脚本，不如使用 from_jdbc_conf 方法引用存储在 Data Catalog 连接中的连接详细信息。无需为数据库爬取或创建 Data Catalog 表，即可执行此操作。有关 Data Catalog 连接的更多信息，请参阅 连接到数据。

其他先决条件：您要从中读取 Amazon Redshift 表的数据库的 Data Catalog 连接。

配置：您将使用 dc-connection-name 标识 Data Catalog 连接。您将使用 redshift-table-name 和 redshift-database-name 标识 Amazon Redshift 数据库和表。您将使用 catalog_connection 提供 Data Catalog 连接信息，使用 dbtable 和 database 提供 Amazon Redshift 信息。语法类似于通过 Data Catalog 进行连接，但您可以将参数放在 connection_options 地图中。

my_conn_options = {
    "dbtable": "redshift-table-name",
    "database": "redshift-database-name",
    "aws_iam_role": "arn:aws:iam::role-account-id:role/rs-role-name"
}

glueContext.write_dynamic_frame.from_jdbc_conf(
    frame = input dynamic frame, 
    catalog_connection = "dc-connection-name", 
    connection_options = my_conn_options, 
    redshift_tmp_dir = args["temp-s3-dir"])
	
        

Amazon Redshift 连接选项参考

用于所有 Amazon Glue JDBC 连接的基本连接选项在所有 JDBC 类型中都是一致的，用于设置 url、user 和 password 之类的信息。有关标准 JDBC 参数的更多信息，请参阅 JDBC 连接选项参考。

Amazon Redshift 连接类型需要一些额外的连接选项：

Amazon Glue 4.0+ 版本中提供了其他连接选项

您也可以通过 Amazon Glue 连接选项传递新的 Amazon Redshift 连接器的选项。有关支持的连接器选项的完整列表，请参阅适用于 Apache Spark 的 Amazon Redshift 集成中的 Spark SQL 参数部分。

为方便起见，我们在此重申某些新选项：

这些新参数可以通过以下方式使用。

提高性能的新选项

新的连接器推出了一些新的性能改进选项：

有关使用这些选项的信息，请参阅适用于 Apache Spark 的 Amazon Redshift 集成。我们建议您在进行混合读取和写入操作时不要开启 autopushdown.s3_result_cache，因为缓存的结果可能包含过时的信息。UNLOAD 命令的默认选项 unload_s3_format 设置为 PARQUET，以提高性能并降低存储成本。要使用 UNLOAD 命令的默认行为，请将该选项重置为 TEXT。

新的读取加密选项

默认情况下，从 Amazon Redshift 表读取数据时，Amazon Glue 使用的临时文件夹中的数据使用 SSE-S3 加密进行加密。要使用来自 Amazon Key Management Service (Amazon KMS) 的客户管理密钥来加密您的数据，您可以设置 ("sse_kms_key" → kmsKey)，其中 ksmKey 是来自 Amazon KMS 的密钥 ID，而不是 Amazon Glue 版本 3.0 中的传统设置选项 ("extraunloadoptions" → s"ENCRYPTED KMS_KEY_ID '$kmsKey'")。

datasource0 = glueContext.create_dynamic_frame.from_catalog(
  database = "database-name", 
  table_name = "table-name", 
  redshift_tmp_dir = args["TempDir"],
  additional_options = {"sse_kms_key":"<KMS_KEY_ID>"}, 
  transformation_ctx = "datasource0"
)

支持基于 IAM 的 JDBC URL

新的连接器支持基于 IAM 的 JDBC URL，因此您无需传递用户/密码或密钥。通过基于 IAM 的 JDBC URL，连接器可使用作业运行时角色访问 Amazon Redshift 数据源。

步骤 1：将以下最低要求策略附加到您的 Amazon Glue 作业运行时角色。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "redshift:GetClusterCredentials",
            "Resource": [
                "arn:aws:redshift:<region>:<account>:dbgroup:<cluster name>/*",
                "arn:aws:redshift:*:<account>:dbuser:*/*",
                "arn:aws:redshift:<region>:<account>:dbname:<cluster name>/<database name>"
            ]
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "redshift:DescribeClusters",
            "Resource": "*"
        }
    ]
}

步骤 2：使用基于 IAM 的 JDBC URL，如下所示。使用您连接的 Amazon Redshift 用户名指定一个新选项 DbUser。

conn_options = {
     // IAM-based JDBC URL
    "url": "jdbc:redshift:iam://<cluster name>:<region>/<database name>",
    "dbtable": dbtable,
    "redshiftTmpDir": redshiftTmpDir,
    "aws_iam_role": aws_iam_role,
    "DbUser": "<Redshift User name>" // required for IAM-based JDBC URL
    }

redshift_write = glueContext.write_dynamic_frame.from_options(
    frame=dyf,
    connection_type="redshift",
    connection_options=conn_options
)

redshift_read = glueContext.create_dynamic_frame.from_options(
    connection_type="redshift",
    connection_options=conn_options
)

从 Amazon Glue 版本 3.0 迁移到版本 4.0

在 Amazon Glue 版本 4.0 中，ETL 作业可以访问新 Amazon Redshift Spark 连接器和新 JDBC 驱动程序，但选项和配置不同。全新 Amazon Redshift 连接器和驱动程序在编写时充分考虑了性能，可保持数据的交易一致性。这些产品记录在 Amazon Redshift 文档中。有关更多信息，请参阅：

表/列名和标识符限制

新的 Amazon Redshift Spark 连接器和驱动程序对 Redshift 表名称的要求更为严格。有关更多信息，请参阅名称和标识符以定义您的 Amazon Redshift 表名称。作业书签工作流程可能不适用于不符合规则的表名和某些字符（例如空格）。

如果您的旧表的名称不符合名称和标识符规则，并且发现书签存在问题（作业正在重新处理旧的 Amazon Redshift 表数据），我们建议您重命名表名。有关更多信息，请参阅修改表示例。

数据帧中的默认临时格式更改

在写入到 Amazon Redshift 时，Amazon Glue 版本 3.0 Spark 连接器会将 tempformat 的默认值设置为 CSV。为了保持一致，在 Amazon Glue 3.0 版中， DynamicFrame 仍会将 tempformat 的默认值设置为使用 CSV。如果您之前曾在 Amazon Redshift Spark 连接器上直接使用过 Spark Dataframe API，则可以在 DataframeReader/Writer 选项中将 tempformat 明确设置为 CSV。否则，tempformat 在新 Spark 连接器中默认为 AVRO。

行为更改：将 Amazon Redshift 数据类型 REAL 映射到 Spark 数据类型 FLOAT，而不是 DOUBLE

在 Amazon Glue 3.0 版本中，Amazon Redshift REAL 被转换为 Spark DOUBLE 类型。新的 Amazon Redshift Spark 连接器更新了行为，因此 Amazon Redshift REAL 类型可以转换为 Spark FLOAT 类型，然后从这一类型转换回来。如果您的旧用例仍希望将 Amazon Redshift REAL 类型映射到 Spark DOUBLE 类型，则可以使用以下解决方法：

代码示例：

dyf_cast = dyf.apply_mapping([('a', 'long', 'a', 'long'), ('b', 'float', 'b', 'double')])