使用Amazon RedshfffffiffffffffffffAmazon Database Migration Service - Amazon Database Migration Service
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用Amazon RedshfffffiffffffffffffAmazon Database Migration Service

你可以使用以下方法将数据迁移到亚马逊 Redshift 数据库Amazon Database Migration Service。Amazon Redshift 是一种完全托管的 PB 级云中数据仓库服务。以 Amazon Redshift 数据库为目标,您可以从所有其他支持的源数据库迁移数据。

你可以使用 Amazon RedshffffffiffffffffffffffAmazon DMS。有关更多信息,请参阅下面的使用Amazon DMS将Amazon Redshift Serverless 作为目标

Amazon RedshfffffifffffffffffffAmazon账户和同样Amazon区域作为复制实例。

在数据库迁移到 Amazon Redshift 期间,Amazon DMS首先将数据置于 Amazon S3 桶中。当文件置于 Amazon S3 桶中Amazon DMS然后将它们传输到 Amazon RedshfffffiffffffffffffffffffAmazon DMS将S3 桶中AmazonAmazon Redshift 桶中的区域。的Amazon DMS复制实例必须位于同一个实例中Amazon区域。

如果您将Amazon CLI或者 DMS API 将数据迁移到 Amazon Redshift,请设置一个Amazon Identity and Access Management(IAM) 角色以允许 S3 桶中。有关创建此 IAM 角色的更多信息,请参阅 创建 IAM 角色以用于 Amazon CLI 和 Amazon DMS API

Amazon Redshift 终端节点为以下内容提供完全自动化:

  • 架构生成和数据类型映射

  • 源数据库表的完全加载

  • 增量加载对源表进行的更改

  • 应用对源表的数据定义语言 (DDL) 的架构更改

  • 完全加载和更改数据捕获 (CDC) 流程之间的同步。

Amazon Database Migration Service 支持完全加载和更改处理操作。Amazon DMS 从源数据库读取数据并创建一系列逗号分隔值 (.csv) 文件。对于满载操作,Amazon DMS为每个表创建文件。Amazon DMS然后将每个表的表文件复制到 Amazon S3 中的一个单独文件夹。将文件置于 Amazon S3 存储桶中Amazon DMS发送复制命令并将文件中的数据复制到 Amazon Redshift 中。对于变更处理操作,Amazon DMS将净更改复制到.csv 文件中。Amazon DMS然后将净变更文件上传到 Amazon S3 并将数据复制到 Amazon Redshfffffiffffffffffffft t t t

有关使用亚马逊 Redshift 作为目标的更多详情Amazon DMS,请参阅以下章节:

使用Amazon RedshffffffffifffffffffffffAmazon Database Migration Service

以下列表描述了使用 Amazon Redshift 作为数据迁移目标所需的先决条件:

  • 使用Amazon用于启动 Amazon Redshfffffifffffffffft 记下关于你的基本信息Amazon账户和您的 Amazon Redshift 集群,例如您的密码、用户名和数据库名称。在创建 Amazon Redshfffffffiffffffffffffff

  • Amazon RedshfffffifffffffffffffAmazon账户之类的Amazon区域作为复制实例。

  • 的Amazon DMS复制实例需要网络连接到您的集群使用的 Amazon Redshift 终端节点(主机名和端口)。

  • Amazon DMS使用Amazon S3 shfffffffiffffffffffffffffffffffft 对于 Amazon DMS 创建存储桶,控制台使用 IAM 角色 dms-access-for-endpoint。如果您将Amazon CLI或者 DMS API 要创建以 Amazon Redshift 作为目标数据库的数据库迁移,则必须创建此 IAM 角色。有关创建此角色的更多信息,请参阅 创建 IAM 角色以用于 Amazon CLI 和 Amazon DMS API

  • Amazon DMS在目标 Amazon Redshift 实例上将 BLOB、CLOB 和 nCLOB 转换为 VARCHAR。Amazon Redshift 不支持大于 64 KB 的 VARCHAR 数据类型,因此您无法在 Amazon Redshift 上存储传统 LOB。

  • 设置目标元数据任务的设置BatchApplyEnabledtrue为了Amazon DMS以处理 CDC 期间对 Amazon Redshift 目标表的更改。同时需要源表和目标表的主键。如果没有主键,则会逐条语句应用更改。这会导致目标延迟并影响集群提交队列,从而对 CDC 期间的任务性能产生负面影响。

使用 Redshift 作为目标所需的权限

使用 GRANFT 命令可授予对方或用户组的访问权限。权限包括各种访问选项,例如读取表和视图中的数据、写入数据和创建表的能力。有关将 GRANT fffffffifffffffffffffffft授予Amazon Redshift 数据库开发者指南

以下Amazon Redshffffffffifffffffffffffffffffffffffffffffft t 表和视图上的语言级权限的语法。

GRANT { { SELECT | INSERT | UPDATE | DELETE | REFERENCES } [,...] | ALL [ PRIVILEGES ] } ON { [ TABLE ] table_name [, ...] | ALL TABLES IN SCHEMA schema_name [, ...] } TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { { CREATE | TEMPORARY | TEMP } [,...] | ALL [ PRIVILEGES ] } ON DATABASE db_name [, ...] TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { { CREATE | USAGE } [,...] | ALL [ PRIVILEGES ] } ON SCHEMA schema_name [, ...] TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { EXECUTE | ALL [ PRIVILEGES ] } ON { FUNCTION function_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL FUNCTIONS IN SCHEMA schema_name [, ...] } TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { EXECUTE | ALL [ PRIVILEGES ] } ON { PROCEDURE procedure_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL PROCEDURES IN SCHEMA schema_name [, ...] } TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT USAGE ON LANGUAGE language_name [, ...] TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

以下是 Amazon Redshift 表和视图上的列级权限的语法。

GRANT { { SELECT | UPDATE } ( column_name [, ...] ) [, ...] | ALL [ PRIVILEGES ] ( column_name [,...] ) } ON { [ TABLE ] table_name [, ...] } TO { username | GROUP group_name | PUBLIC } [, ...]

以下是授予具有指定角色的用户和组的 ASSUMEROLE 权限的语法。

GRANT ASSUMEROLE ON { 'iam_role' [, ...] | ALL } TO { username | GROUP group_name | PUBLIC } [, ...] FOR { ALL | COPY | UNLOAD } [, ...]

使用亚马逊 Redshift 作为目标的限制Amazon Database Migration Service

使用亚马逊 Redshift 数据库作为目标时,存在以下限制:

  • 不要为你用作 Amazon Redshift 目标中间存储的 S3 存储桶启用版本控制。如果您需要 S3 版本控制,请使用生命周期策略主动删除旧版本。否则,您可能会遇到由于 S3 导致的端点测试连接失败list-object通话超时。要授予对 S3 存储桶的生命周期策略,请参阅管理存储生命周期。要删除 S3 桶的版本,请参阅从启用了版本控制的存储桶中删除对象版本

  • 不支持以下 DDL:

    ALTER TABLE table name MODIFY COLUMN column name data type;
  • Amazon DMS 无法迁移或复制对名称以下划线 (_) 开头的架构所做的更改。如果您具有名称以下划线开头的架构,请使用映射转换重命名目标上的架构。

  • Amazon Redshift 不支持大于 64 KB 的 VARCHAR。传统数据库中的 LOB 不能存储在 Amazon Redshift 中。

  • 当任意主键列名称使用了保留字时,不支持对具有多列主键的表应用 DELETE 语句。去这里可查看 Amazon Redshffffifffffffffffff

  • 如果源系统对源表的主键执行 UPDATE 操作,则可能会遇到性能问题。对目标应用更改时会出现这些性能问题。这是因为更新(和删除)操作依赖于主键值来标识目标行。如果您更新源表的主键,则任务日志将包含如下消息:

    Update on table 1 changes PK to a PK that was previously updated in the same bulk update.
  • 在为 Redshift 集群配置终端节点时,DMS 不支持自定义 DNS 名称,您需要使用亚马逊提供的 DNS 名称。由于 Amazon RedshffffffiffffffffffffAmazon账户和区域作为复制实例,如果您使用自定义 DNS 终端节点,则验证失败。

  • Amazon Redshift 的默认空闲会话超时时间为 4 小时。当 DMS 复制任务中没有任何活动时,Redshift 会在 4 小时后断开会话连接。错误可能是由于 DMS 无法连接并可能需要重新启动而导致。解决方法是,为 DMS 复制用户设置一个大于 4 小时的会话超时限制。或者,请参阅的描述更改用户Amazon Redshift 数据库开发者指南

  • 什么时候Amazon DMS在没有主密钥或唯一密钥的情况下复制源表数据,CDC 延迟可能很高,导致性能水平不可接受。

将 Amazon RedshfffffiffffffffffffAmazon Database Migration Service

Amazon Database Migration Service必须配置可与Amazon Redshffffffiffffffffffff 下表描述了 Amazon Redshfffffffffifffffffffffffft

属性

描述

server

您正在使用的 Amazon Redshffffffiffffffffffff

port

Amazon Redshift 的端口号。默认值是 5439。

username

注册用户的亚马逊 Redshift 用户名。

password

在 username 属性中指定的用户的密码。

数据库

您正在使用的Amazon Redshfffffffiffffffffffffffffffffft

如果您想向 Amazon Redshift 终端节点添加额外的连接字符串属性,则可以指定maxFileSizefileTransferUploadStreams属性。有关这些属性的更多信息,请参阅使用 Amazon Redshift 作为目标时的终端节点设置Amazon DMS

使用以Amazon RedshffffffiffffffffffffffftAmazon Database Migration Service

如果您对亚马逊 Redshift 目标使用增强型 VPC 路由,则您的 Amazon Redshift 集群和数据存储库之间的所有复制流量都将通过您的 VPC。由于增强型 VPC 路由 会影响 Amazon Redshift 访问其他资源的方式,因此如果您未正确配置 VPC,COPY 命令可能会失败。

Amazon DMS可能会受到此行为的影响,因为它使用 COPY 命令将 S3 中的数据移动到 Amazon Redshift 集群。

Amazon DMS 将数据加载到 Amazon Redshift 目标时采用的步骤如下:

  1. Amazon DMS 将数据从源复制到复制服务器上的 .csv 文件。

  2. Amazon DMS使用AmazonSDK 用于将.csv 文件复制到您账户的 S3 存储桶中。

  3. Amazon DMS然后使用 Amazon Redshift 中的 COPY 命令将 S3 中的.csv 文件中的数据复制到 Amazon Redshift 中的相应表中。

如果未启用增强型 VPC 路由,Amazon Redshfffffffifffffffffffffft t 可授予对表Amazon网络。如果未启用该功能,您不必配置网络路径。如果启用此功能,您必须专门创建您群集的 VPC 与数据源之间的网络路径。有关所需配置的更多信息,请参阅增强型 VPC 路由在亚马逊 Redshift 文档中。

创建和使用Amazon KMS用于加密亚马逊 Redshift 目标数据的密钥

您可以先对推送到亚马逊 S3 的目标数据进行加密,然后再将其复制到 Amazon Redshift。为此,您可以创建并使用自定义 Amazon KMS 密钥。在创建 Amazon Redshift 目标终端节点时,您可以使用创建的密钥使用以下机制之一加密目标数据:

要使用 KMS 密钥加密 Amazon Redshift 目标数据,你需要Amazon Identity and Access Management(IAM) 角色,有权访问亚马逊 Redshift 数据。然后,通过附加到您创建的加密密钥的策略(密钥策略)访问此 IAM 角色。您可以在 IAM 控制台上通过创建以下内容可执行此操作:

  • Amazon IAM 角色中Amazon-托管的策略。

  • 带有引用此角色的密钥策略的 KMS 密钥。

以下过程介绍了如何执行此操作。

创建具有所需的 IAM 角色Amazon-托管的策略
  1. 通过以下网址打开 IAM 控制台:https://console.aws.amazon.com/iam/

  2. 在导航窗格中,选择 Roles(角色)。Roles (角色) 页面随即打开。

  3. 选择 Create role(创建角色)。Create role (创建角色) 页面随即打开。

  4. Amazon服务选择为可信实体,选择DMS将角色置于 S3 存储桶中。

  5. 选择Next: Permissions(下一步: 权限)。此时将显示 Attach permissions policies (附加权限策略) 页面。

  6. 查找并选择 AmazonDMSRedshiftS3Role 策略。

  7. 选择 下一步:标签。此时将显示 Add tags (添加标签) 页面。您可以在此处添加所需的任何标签。

  8. 选择 Next: Review (下一步: 审核) 并检查您的结果。

  9. 如果这些设置是您所需的,请输入角色的名称(例如,DMS-Redshift-endpoint-access-role)及任何其他描述,然后选择 Create role (创建角色)Roles (角色) 页面随即打开,并显示一条指示您的角色已创建的消息。

例如,您现在已经创建了用于访问用于加密的 Amazon Redshift 资源的新角色,例如DMS-Redshift-endpoint-access-role

创建Amazon KMS带有引用您的 IAM 角色的密钥策略的加密密钥
注意

有关如何将 Amazon DMS 与 Amazon KMS 加密密钥结合使用的更多信息,请参阅 设置加密密钥和指定 Amazon KMS 权限

  1. 登录到 Amazon Web Services Management Console,然后通过以下网址打开 Amazon Key Management Service (Amazon KMS) 控制台:https://console.aws.amazon.com/kms

  2. 要更改 Amazon Web Services 区域,请使用页面右上角的区域选择器。

  3. 在导航窗格中,选择客户托管密钥

  4. 选择 Create key。此时会打开 Configure key (配置密钥) 页面。

  5. 对于 Key type (密钥类型),选择 Symmetric (对称)

    注意

    创建此密钥时,您只能创建对称密钥,因为所有Amazon诸如 Amazon Redshift 之类的服务只能使用对称加密密钥。

  6. 选择 Advanced Options。对于 Key material origin (密钥材料来源),请确保选择了 KMS,然后选择 Next (下一步)。此时会打开 Add labels (添加标签) 页面。

  7. 对于 Create alias and description (创建别名和描述),输入密钥的别名(例如 DMS-Redshift-endpoint-encryption-key)和任何其他描述。

  8. 对于 Tags (标签),添加要用于帮助标识密钥并跟踪其使用情况的任何标签,然后选择 Next (下一步)。此时会打开 Define key administrative permissions (定义密钥管理权限) 页面,其中显示了可供选择的用户和角色的列表。

  9. 添加要管理密钥的用户和角色。确保这些用户和角色具有管理密钥所需的权限。

  10. 对于 Key deletion (密钥删除),选择密钥管理员是否能删除密钥,然后选择 Next (下一步)。此时会打开 Define Key Usage Permissions (定义密钥使用权限) 页面,其中显示了可供选择的用户和角色的附加列表。

  11. 对于这个账户,选择要对 Amazon Redshift 目标执行加密操作的可用用户。还可选择您之前在中创建的角色角色例如,允许访问加密 Amazon Redshift 目标对象DMS-Redshift-endpoint-access-role)。

  12. 如果您想添加未列出的其他账户以拥有同样的访问权限,对于其他Amazon账户,选择添加另一个Amazon帐户,然后选择下一步。此时会打开 Review and edit key policy (查看和编辑密钥策略) 页面,其中显示了密钥策略的 JSON,您可以通过键入到现有 JSON 来查看和编辑该策略。在此处,您可以看到密钥策略引用您在上一步中选择的角色和用户(例如,AdminUser1)的位置。您还可以查看不同的委托人(用户和角色)所允许的不同的密钥操作,如以下示例所示。

    { "Id": "key-consolepolicy-3", "Version": "2012-10-17", "Statement": [ { "Sid": "Enable IAM User Permissions", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:root" ] }, "Action": "kms:*", "Resource": "*" }, { "Sid": "Allow access for Key Administrators", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/Admin" ] }, "Action": [ "kms:Create*", "kms:Describe*", "kms:Enable*", "kms:List*", "kms:Put*", "kms:Update*", "kms:Revoke*", "kms:Disable*", "kms:Get*", "kms:Delete*", "kms:TagResource", "kms:UntagResource", "kms:ScheduleKeyDeletion", "kms:CancelKeyDeletion" ], "Resource": "*" }, { "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/DMS-Redshift-endpoint-access-role", "arn:aws:iam::111122223333:role/Admin", "arn:aws:iam::111122223333:role/User1" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }, { "Sid": "Allow attachment of persistent resources", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/DMS-Redshift-endpoint-access-role", "arn:aws:iam::111122223333:role/Admin", "arn:aws:iam::111122223333:role/User1" ] }, "Action": [ "kms:CreateGrant", "kms:ListGrants", "kms:RevokeGrant" ], "Resource": "*", "Condition": { "Bool": { "kms:GrantIsForAWSResource": true } } } ]
  13. 选择 Finish (结束)。的加密密钥页面打开时会显示一条消息,表明您的Amazon KMS key已创建。

现在,您已创建一个具有指定别名(例如,DMS-Redshift-endpoint-encryption-key)的新 KMS 密钥。此密钥可启用Amazon DMS对亚马逊 Redshift 目标数据进行加密。

使用 Amazon Redshift 作为目标时的终端节点设置Amazon DMS

您可以使用终端节点设置来配置 Amazon Redshift 目标数据库,就像使用额外的连接属性一样。您可以在创建目标端点时使用指定设置Amazon DMS控制台,或者使用create-endpoint命令在Amazon CLI,与--redshift-settings '{"EndpointSetting": "value", ...}'JSON 语法。

下表是 Amazon Redshfffffffiffffffffffffffffffffft t t t t

名称 描述

MaxFileSize

指定用于向 Amazon Redshift 传输数据的任何.csv 文件的最大大小(以 KB 为单位)。

默认值:32768 KB (32 MB)

有效值:1—1,048,576

示例:--redshift-settings '{"MaxFileSize": 512}'

FileTransferUploadStreams

指定用于上传单个文件的线程的数目。

调整渲染效果的缩放。

有效值:1—64

示例:--redshift-settings '{"FileTransferUploadStreams": 20}'

Acceptanydate

指定是否接受任何日期格式,包括无效和日期格式,如 0000-00-00。布尔值。

默认值:false

有效值:true | false

示例:--redshift-settings '{"Acceptanydate": true}'

Dateformat

指定日期格式。默认情况下,这是一个字符串输入且为空。默认格式为 YYYY-MM-DD,但您可以将其更改为 DD-MM-YYYY。如果您的日期或时间值使用不同的格式,请结合使用 auto 参数与 Dateformat 参数。auto 参数将识别使用 Dateformat 字符串时不受支持的一些格式。auto 关键字区分大小写。

默认值:empty

有效值:”日期格式字符串“或auto

示例:--redshift-settings '{"Dateformat": "auto"}'

Timeformat

指定时间格式。默认情况下,这是一个字符串输入且为空。auto 参数将识别使用 Timeformat 字符串时不受支持的一些格式。如果您的日期和时间值使用各不相同的格式,请结合使用 auto 参数与 Timeformat 参数。

调整渲染效果的缩放。

有效值:”时间格式_字符串“| “auto” | “epochsecs” | “epochmillisecs”

示例:--redshift-settings '{"Timeformat": "auto"}'

Emptyasnull

指定 Amazon DMS 是否应迁移作为 null 的空 CHAR 和 VARCHAR 字段。值 true 可将空的 CHAR 和 VARCHAR 字段设置为 null。

默认值:false

有效值:true | false

示例:--redshift-settings '{"Emptyasnull": true}'

TruncateColumns

将列中的数据截断为合适的字符数以符合列规范。仅适用于具有 VARCHAR 或 CHAR 数据类型的列以及大小为 4 MB 或以下的行。

默认值:false

有效值:true | false

示例:--redshift-settings '{"TruncateColumns": true}'

RemoveQuotes

删除传入数据中的字符串周围的引号。将保留引号中的所有字符(包括分隔符)。有关移除Amazon RedshffffffifffffffffffffffffftAmazon Redshift 数据库开发者指南

默认值:false

有效值:true | false

示例:--redshift-settings '{"RemoveQuotes": true}'

TrimBlanks

删除 VARCHAR 字符串的尾部空格字符。此参数仅适用于具有 VARCHAR 数据类型的列。

默认值:false

有效值:true | false

示例:--redshift-settings '{"TrimBlanks": true}'

EncryptionMode 指定在将数据复制到 Amazon Redshift 之前将数据推送到 S3 时要使用的服务器端加密模式。有效值为 SSE_S3(S3 服务器端加密)或 SSE_KMS(KMS 密钥加密)。如果您选择 SSE_KMS,请将 ServerSideEncryptionKmsKeyId 参数设置为要用于加密的 KMS 密钥的 Amazon 资源名称 (ARN)。
注意

您也可以使用 CLImodify-endpoint命令来更改的值EncryptionMode为来自的现有端点进行设置SSE_KMSSSE_S3。但是你无法改变EncryptionMode值来自SSE_S3SSE_KMS

默认值:SSE_S3

有效值:SSE_S3SSE_KMS

示例:--redshift-settings '{"EncryptionMode": "SSE_S3"}'

ServerSideEncryptionKmsKeyId 如果你设置了EncryptionModeSSE_KMS,将此参数设置为 KMS 密钥的 ARN。您可以通过在为您的账户创建的 Amazon KMS 密钥列表中选择密钥别名来查找此 ARN。在创建密钥时,您必须将特定策略和角色与密钥关联。有关更多信息,请参阅创建和使用Amazon KMS用于加密亚马逊 Redshift 目标数据的密钥

示例:--redshift-settings '{"ServerSideEncryptionKmsKeyId":"arn:aws:kms:us-east-1:111122223333:key/11a1a1a1-aaaa-9999-abab-2bbbbbb222a2"}'

EnableParallelBatchInMemoryCSVFiles 将此属性设置为false使用时ParallelLoadThreads任务设置。的EnableParallelBatchInMemoryCSVFiles设置让 DMS 写入磁盘而不是内存,从而提高大型多线程满负荷任务的性能。默认值为 true
CompressCsvFile 使用此属性可以压缩迁移期间发送到 Amazon Redshift 目标的数据。默认值为true,并且压缩功能在默认情况下处于启用状态。

使用数据加密密钥和 Amazon S3 存储桶作为中间存储

您可以使用 Amazon Redshffffffffiffffffffffffffff

  • 自定义 Amazon KMS 数据加密密钥。然后,您可以使用此密钥对推送到亚马逊 S3 的数据进行加密,然后再将其复制到 Amazon Redshift。

  • 自定义 S3 存储桶,作为迁移到 Amazon Redshift 的数据的中间存储。

  • 将布尔值映射为来自 PostgreSQL 源的布尔值。默认情况下,布尔类型迁移为 varchar (1)。你可以指定MapBooleanAsBoolean让你的 Redshift 目标将布尔类型迁移为布尔值,如以下示例所示。

    --redshift-settings '{"MapBooleanAsBoolean": true}'

    请注意,您必须在源端点和目标端点上都设置此设置才能使其生效。

用于数据加密的 KMS 密钥设置

以下示例说明如何配置自定义 KMS 密钥以加密推送到 S3 的数据。要开始,您可以使用 Amazon CLI 进行以下 create-endpoint 调用。

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target --engine-name redshift --username your-username --password your-password --server-name your-server-name --port 5439 --database-name your-db-name --redshift-settings '{"EncryptionMode": "SSE_KMS", "ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1"}'

此处,--redshift-settings 选项所指定的 JSON 对象定义了两个参数。一个是带值 SSE_KMSEncryptionMode 参数。另一个是带值 arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1ServerSideEncryptionKmsKeyId 参数。此值是自定义 KMS 密钥的 Amazon 资源名称 (ARN)。

默认情况下,使用 S3 服务器端加密进行 S3 数据加密。对于上一个示例的 Amazon Redshift 目标,这也等同于指定其终端节点设置,如下例所示。

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target --engine-name redshift --username your-username --password your-password --server-name your-server-name --port 5439 --database-name your-db-name --redshift-settings '{"EncryptionMode": "SSE_S3"}'

有关使用 S3 服务器端加密的更多信息,请参阅使用服务器端加密保护数据Amazon Simpon S3 存储桶用户指南。

注意

您也可以使用 CLImodify-endpoint命令来更改的值EncryptionMode现有端点的参数来自SSE_KMSSSE_S3。但是你无法改变EncryptionMode值来自SSE_S3SSE_KMS

Amazon S3 桶的设置

当您将数据迁移到 Amazon Redshift 目标终端节点时,Amazon DMS在将迁移的数据复制到 Amazon Redshift 之前,使用默认 Amazon S3 存储桶作为中间任务存储。例如,所示示例用于创建带有 Amazon Redshift 目标终端节点Amazon KMS数据加密密钥使用此默认 S3 存储桶(请参阅用于数据加密的 KMS 密钥设置)。

您可以通过在 Amazon CLI create-endpoint 命令的 --redshift-settings 选项值中包含以下参数来为此中间存储指定自定义 S3 存储桶:

  • BucketName— 您指定为 S3 存储分区存储的名称。如果您的服务访问角色基于AmazonDMSRedshiftS3Role策略,此值的前缀必须为dms-,例如dms-my-bucket-name

  • BucketFolder—(可选)您可以指定为指定 S3 存储桶中存储文件夹名称的字符串。

  • ServiceAccessRoleArn— IAM 角色的 ARN,可授予对 S3 存储桶的管理权限。通常,您将根据 AmazonDMSRedshiftS3Role 策略创建此角色。有关示例,请参阅使用必需的 IAM 角色的过程Amazon-中的托管策略创建和使用Amazon KMS用于加密亚马逊 Redshift 目标数据的密钥

    注意

    如果您使用 create-endpoint 命令的 --service-access-role-arn 选项指定其他 IAM 角色的 ARN,则此 IAM 角色选项优先。

以下示例显示了如何使用这些参数在以下内容中指定自定义 Amazon S3 存储桶create-endpoint使用拨打电话Amazon CLI。

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target --engine-name redshift --username your-username --password your-password --server-name your-server-name --port 5439 --database-name your-db-name --redshift-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketName": "your-bucket-name", "BucketFolder": "your-bucket-folder-name"}'

Amazon Redshfffifffffffffff

您可以使用多线程任务设置提高 Amazon Redshift 目标终端节点的满载和更改数据捕获 (CDC) 任务的性能。它们使您可以指定并发线程数和要存储在缓冲区中的记录数。

亚马逊 Redshift 的多线程满载任务设置

要提高满载性能,可使用以下方法ParallelLoad*任务设置:

  • ParallelLoadThreads— 指定 DMS 在满负荷期间将数据记录推送到 Amazon Redshift 目标终端节点时使用的并发线程数。默认值为零 (0),最大值为 32。有关更多信息,请参阅完全加载任务设置

    您可以使用enableParallelBatchInMemoryCSVFiles属性设置为false使用时ParallelLoadThreads任务设置。该属性通过让 DMS 写入磁盘而不是内存来提高大型多线程满载任务的性能。默认值为 true

  • ParallelLoadBufferSize— 指定使用以 Redshift 为目标的并行加载线程时的最大数据记录请求量。默认值是 100,最大值是 1,000。我们建议您在以下情况下使用此选项 ParallelLoadThreads > 1(大于一)。

注意

Support 支持使用ParallelLoad*在 Amazon Redshift 目标终端节点满载期间的任务设置可在中找到Amazon DMS3.4.5 桶及更高版本。

ReplaceInvalidChars不支持在更改数据捕获 (CDC) 期间或启用并行加载的满载迁移任务期间使用 Redshift 端点设置。如果未启用并行加载,则支持全负荷迁移。有关更多信息,请参阅RedshiftSettingsAmazon Database Migration ServiceAPI 参考

Amazon Redshffffiffffffffffff

要提高 CDC 的表现,可使用以下方法ParallelApply*任务设置:

  • ParallelApplyThreads— 指定以下并发线程的数量Amazon DMS在 CDC 加载期间使用将数据记录推送到 Amazon Redshift 目标终端节点。默认值为零 (0),最大值为 32。建议的最小值等于集群中的切片数。

  • ParallelApplyBufferSize— 指定使用带有 Redshift 目标的并行应用线程时的最大数据记录请求量。默认值是 100,最大值是 1,000。我们建议在以下情况下使用此选项 ParallelApplyThreads > 1(大于一)。

    为了让 Redshift 作为目标获得最大的收益,我们建议将ParallelApplyBufferSize至少是数量的两倍(两倍或更多)ParallelApplyThreads

注意

Support 支持使用ParallelApply*在 CDC 到 Amazon Redshift 目标终端节点期间的任务设置可在中找到Amazon DMS3.4.3 桶及更高版本。

应用的并行度水平取决于总数之间的相关性批量大小还有文件大小上限用于传输数据。将多线程 CDC 任务设置与 Redshift 目标一起使用时,当批量大小相对于最大文件大小而言较大时,可以获得好处。例如,您可以使用以下端点和任务设置组合来调整以获得最佳性能。

// Redshift endpoint setting MaxFileSize=250000; // Task settings BatchApplyEnabled=true; BatchSplitSize =8000; BatchApplyTimeoutMax =1800; BatchApplyTimeoutMin =1800; ParallelApplyThreads=32; ParallelApplyBufferSize=100;

使用前一个示例中的设置,交易工作负载繁重的客户受益于其批处理缓冲区(包含 8000 条记录),在 1800 秒内填满,使用 32 个并行线程,最大文件大小为 250 MB。

有关更多信息,请参阅更改处理优化设置

注意

在持续复制到 Redshift 集群期间运行的 DMS 查询可以与正在运行的其他应用程序查询共享相同的 WLM(工作负载管理)队列。因此,请考虑正确配置 WLM 属性,使其在持续复制到 Redshift 目标期间影响性能。例如,如果正在运行其他 parallel ETL 查询,则 DMS 的运行速度会变慢,性能增益就会丧失。

亚马逊 Redshift 的目标数据类型

Amazon DMS 的 Amazon Redshift 终端节点支持大多数 Amazon Redshift 数据类型。下表显示了使用 Amazon DMS 时支持的 Amazon Redshift 目标数据类型以及来自 Amazon DMS 数据类型的默认映射。

有关 Amazon DMS 数据类型的其他信息,请参阅Database MigratiAmazon on Service 数据类型

Amazon DMS 数据类型

Amazon Redshift 数据类型

BOOLEAN

BOOL

BYTES

VARCHAR (Length)

DATE

DATE

TIME

VARCHAR(20)

DATETIME

如果比例为 => 0 和 =< 6,则视Redshift目标列类型而定,则为以下之一:

TIMESTAMP (s)

TIMESTAMPTZ (s) — 如果源时间戳包含区域偏移(例如在 SQL Server 或 Oracle 中),则它会在插入/更新时转换为 UTC。如果它不包含偏移量,则已经考虑了以 UTC 为单位的时间。

如果小数位数 => 7 且 <= 9,请使用:

VARCHAR(37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

如果小数位数 => 0 且 <= 37,请使用:

NUMERIC (p,s)

如果小数位数 => 38 且 <= 127,请使用:

VARCHAR (Length)

REAL4

FLOAT4

REAL8

FLOAT8

STRING

如果长度为 1—65,535,则使用 VARCHAR(以字节为单位的长度)

如果长度是 65,536—2,147,shift 647,则使用 VARCHAR (65535)

UINT1

INT2

UINT2

INT2

UINT4

INT4

UINT8

NUMERIC (20,0)

WSTRING

如果长度为 1—65,535,则使用 NVARCHAR(以字节为单位的长度)

如果长度是 65,536—2,147,shift 647,则使用 NVARCHAR (65535)

BLOB

VARCHAR (最大 LOB 大小 *2)

最大 LOB 大小不能超过 31 KB。Amazon Redshift 不支持大于 64 KB 的 VARCHAR。

NCLOB

NVARCHAR (最大 LOB 大小)

最大 LOB 大小不能超过 63 KB。Amazon Redshift 不支持大于 64 KB 的 VARCHAR。

CLOB

VARCHAR (最大 LOB 大小)

最大 LOB 大小不能超过 63 KB。Amazon Redshift 不支持大于 64 KB 的 VARCHAR。

使用Amazon DMS将Amazon Redshift Serverless 作为目标

Amazon DMS支持使用 Amazon Redshift Serverless 作为目标终端节点。有关使用 Amazon RedshfffffffifffffffffftAmazon Redshift ServerlessAmazon Redshift 管理指南

本主题介绍如何将 Amazon RedshffffffffffifffffffffftAmazon DMS。

注意

在创建 Amazon Redshift 无服务器终端节点时,DatabaseName你的领域RedshiftSettings终端节点配置,使用 Amazon Redshift 数据仓库的名称或工作组终端节点的名称。对于ServerName字段中,使用显示在 “终端节点” 中的值工作组无服务器集群的页面(例如,default-workgroup.093291321484.us-east-1.redshift-serverless.amazonaws.com)。有关创建终端节点的信息,请参阅创建源和目标终端节点。有关工作组终端节点的信息,请参阅连接到 Amazon Redshift Serverless

以 Amazon Redshfffffffiffffffffffft

使用 Amazon Redshift Serverless 作为目标终端节点时,您必须在信任策略中添加以下突出显示的部分。此信任政策附在dms-access-for-endpoint角色。

{ "PolicyVersion": { "CreateDate": "2016-05-23T16:29:57Z", "VersionId": "v3", "Document": { "Version": "2012-10-17", "Statement": [ { "Action": [ "ec2:CreateNetworkInterface", "ec2:DescribeAvailabilityZones", "ec2:DescribeInternetGateways", "ec2:DescribeSecurityGroups", "ec2:DescribeSubnets", "ec2:DescribeVpcs", "ec2:DeleteNetworkInterface", "ec2:ModifyNetworkInterfaceAttribute" ], "Resource": "arn:aws:service:region:account:resourcetype/id", "Effect": "Allow" } { "Sid": "", "Effect": "Allow", "Principal": { "Service": "redshift.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }, "IsDefaultVersion": true } }

有关使用信任策略的更多信息Amazon DMS,见创建 IAM 角色以用于 Amazon CLI 和 Amazon DMS API

使用 Amazon Redshffffffffifffffffffff

使用 Redshfffffifffffffffft shfffffft