将 PostgreSQL 数据库作为 Amazon DMS 源

 本地数据库

Amazon EC2 实例上的数据库

Amazon RDS 数据库实例上的数据库

基于 Amazon Aurora PostgreSQL 兼容版的数据库实例上的数据库

基于 Amazon Aurora PostgreSQL 兼容无服务器版的数据库实例上的数据库

创建具有相应权限的 PostgreSQL 用户，用于为 Amazon DMS 提供对您的 PostgreSQL 源数据库的访问权限。

创建符合所选 PostgreSQL 数据库配置的 PostgreSQL 源端点。

创建一项或一组任务来迁移您的表。

要创建 full-load-only 任务，无需进一步配置端点。

在创建更改数据捕获任务（仅 CDC，或者完全加载和 CDC 任务）之前，请参阅使用自管理 PostgreSQL 数据库作为 Amazon DMS 源启用 CDC或为与 Amazon DMS 配合使用的 Amazon 托管的 PostgreSQL 数据库实例启用 CDC。

请确保使用版本为 9.4.x 或更高版本的 PostgreSQL 数据库。

对于完全加载加上 CDC 任务或仅限 CDC 任务，请向为 PostgreSQL 源数据库指定的用户账户授予超级用户权限。该用户账户访问源中特定于复制的函数需要超级用户权限。对于仅完全加载任务，该用户账户需要表的 SELECT 权限以迁移它们。

将 Amazon DMS 复制服务器的 IP 地址添加到 pg_hba.conf 配置文件中，并启用复制和套接字连接。下面是一个示例。

            # Replication Instance
            host all all 12.3.4.56/00 md5
            # Allow replication connections from localhost, by a user with the
            # replication privilege.
            host replication dms 12.3.4.56/00 md5
            

PostgreSQL 的 pg_hba.conf 配置文件控制客户端身份验证。（HBA 代表基于主机的身份验证。） 文件通常存储在数据库集群的数据目录中。

如果您要将数据库配置为使用 Amazon DMS 的逻辑复制源，请参阅使用自管理 PostgreSQL 数据库作为 Amazon DMS 源启用 CDC。

设置 wal_level = logical。

将 max_replication_slots 设置为一个大于 1 的值。

请根据您需要运行的任务数设置 max_replication_slots 值。例如，要运行五个任务，您需要设置至少五个时隙。在任务启动时时隙立即打开，即使任务不再运行仍保持打开。请务必手动删除空闲时隙。请注意，如果 DMS 创建了时隙，在删除任务后，DMS 会自动删除重复的时隙。

将 max_wal_senders 设置为一个大于 1 的值。

max_wal_senders 参数用于设置可以运行的并发任务数。

wal_sender_timeout 参数会终止处于不活动状态的时间超过指定毫秒数的复制连接。本地 PostgreSQL 数据库的默认值为 60000 毫秒（60 秒）。将此值设置为 0（零）会禁用超时机制，这是 DMS 的有效设置。

将 wal_sender_timeout 设置为非零值时，执行 CDC 的 DMS 任务至少需要 10000 毫秒（10 秒），如果此值小于 10000，则任务会失败。将此值保持至少 5 分钟，以免在 DMS 复制实例执行多可用区失效转移期间造成延迟。

我们建议您使用具有 PostgreSQL 数据库实例所需最低权限的 Amazon 用户账户作为 Amazon DMS 的 PostgreSQL 源端点的用户账户。建议不要使用主账户。该账户必须具有 rds_superuser 和 rds_replication 角色。rds_replication 角色可授予管理逻辑时隙和使用逻辑时隙流式处理数据的权限。

请务必使用您所用账户的主用户账户创建多个对象。有关创建这些项目的信息，请参阅不使用主用户账户迁移 Amazon RDS for PostgreSQL 数据库。

如果源数据库位于虚拟私有云 (VPC) 中，请选择一个 VPC 安全组，该安全组提供对数据库所在的数据库实例的访问权限。这是 DMS 复制实例成功连接到源数据库实例所必需的。当数据库和 DMS 复制实例位于同一 VPC 中时，将相应的安全组添加到其自己的入站规则中。

有关在自管理 PostgreSQL 源数据库上为 CDC 启用逻辑复制的信息，请参阅使用自管理 PostgreSQL 数据库作为 Amazon DMS 源启用 CDC。

有关在 Amazon 托管的 PostgreSQL 源数据库上为 CDC 启用逻辑复制的信息，请参阅为与 Amazon DMS 配合使用的 Amazon 托管的 PostgreSQL 数据库实例启用 CDC。

您有一个从源 PostgreSQL 数据库向目标 PostgreSQL 数据库的同构迁移。

您正在迁移整个数据库。

利用这些本机工具，可以在迁移您的数据时最大程度地减少停机时间。

在某些情况下，PostgreSQL NUMERIC(p,s) 数据类型不指定任何精度和小数位数。对于 DMS 版本 3.4.2 及更早版本，DMS 默认使用的精度为 28，小数位数为 6，即 NUMERIC(28,6)。例如，源中的值 0.611111104488373 在 PostgreSQL 目标中将转换为 0.611111。

数据类型为 ARRAY 的表必须具有主键。缺少主键的 ARRAY 数据类型的表在完全加载期间会暂停。

POINT

LINESTRING

POLYGON

MULTIPOINT

MULTILINESTRING

MULTIPOLYGON

GEOMETRYCOLLECTION

您可以将值添加到额外连接属性来捕获 DDL 事件，以及指定在其中创建操作 DDL 数据库项目的架构。有关更多信息，请参见 使用 PostgreSQL 作为 DMS 源时的端点设置和额外连接属性 (ECA)。

您可以覆盖连接字符串参数。选择此选项可执行以下任一操作：

通过在 PostgreSQL 9.4 及更高版本中使用表级参数 REPLICA IDENTITY，您可以控制写入预写日志 (WAL) 的信息。特别是，对于标识已更新或删除行的 WAL，它会这样做。REPLICA IDENTITY FULL 记录此行中所有列的旧值。将 REPLICA IDENTITY FULL 用于每个表时请慎重，因为 FULL 会生成额外的 WAL 量（可能是不必要的）。有关更多信息，请参阅 ALTER TABLE-REPLICA IDENTITY。

Amazon DMS 不适合作为源或目标与 Amazon RDS for PostgreSQL 10.4 或 Amazon Aurora PostgreSQL 10.4 一起使用。

捕获的表必须具有一个主键。如果表没有主键，Amazon DMS 将忽略该表的 DELETE 和 UPDATE 记录操作。有关解决方法，请参阅使用逻辑复制启用更改数据捕获 (CDC)。

注意：我们不建议在没有主键/唯一索引的情况下进行迁移，否则会有其他限制，例如“没有”批量应用功能、完整 LOB 功能、数据验证，以及无法高效复制到 Redshift 目标。

Amazon DMS 忽略尝试更新主键段的操作。在这些情况下，目标会将更新标识为未更新任何行的更新。但是，由于更新 PostgreSQL 中的主键的结果是不可预测的，不会将任何记录写入异常表。

Amazon DMS 不支持 Start Process Changes from Timestamp 运行选项。

Amazon DMS 不复制由于分区或子分区操作（ADD、DROP 或 TRUNCATE）而导致的更改。

复制多个同名但名称具有不同大小写的表（例如，table1、TABLE1 和 Table1）会导致无法预测的行为。因此，Amazon DMS 不支持此类复制。

在大多数情况下，Amazon DMS 支持表的 CREATE、ALTER 和 DROP DDL 语句的更改处理。如果表保存在内部函数、过程正文块或其他嵌套结构中，则 Amazon DMS 不支持此更改处理。

例如，不捕获以下更改。

CREATE OR REPLACE FUNCTION attu.create_distributors1() RETURNS void
LANGUAGE plpgsql
AS $$
BEGIN
create table attu.distributors1(did serial PRIMARY KEY,name
varchar(40) NOT NULL);
END;
$$;

目前，PostgreSQL 源中的 boolean 数据类型会作为具有不一致值的 bit 数据类型迁移到 SQL Server 目标。解决方法是，使用该列的 VARCHAR(1) 数据类型预先创建表（或者让 Amazon DMS 创建表）。然后，让下游处理将“F”视为 False，将“T”视为 True。

Amazon DMS 不支持 TRUNCATE 操作的更改处理。

OID LOB 数据类型不会迁移到目标。

Amazon DMS 仅支持同构迁移的 PostGIS 数据类型。

如果您的源是本地或 Amazon EC2 实例上的 PostgreSQL 数据库，请确保将 test_decoding 输出插件安装到源端点上。您可以在 PostgreSQL contrib 包中找到此插件。有关测试解码插件的更多信息，请参阅 PostgreSQL 文档。

Amazon DMS 不支持更改处理以设置和取消设置列默认值（在 ALTER TABLE 语句中使用 ALTER COLUMN SET DEFAULT 子句）。

Amazon DMS 不支持更改处理以设置列的可为 null 性（在 ALTER TABLE 语句中使用 ALTER COLUMN [SET|DROP] NOT NULL 子句）。

启用逻辑复制后，每个事务在内存中保留的最大更改数为 4MB。之后，更改会溢出到磁盘。因此，ReplicationSlotDiskUsage 会增加，并且在事务完成/停止并且回滚完成之前，restart_lsn 不会有进展。因为这是一个长时间运行的事务，可能需要花费较长时间回滚。因此，在启用逻辑复制时，请避免长时间运行的事务或许多子事务。请改为将事务分成几个较小的事务。

在 Aurora PostgreSQL 版本 13 及更高版本中，您可以调整logical_decoding_work_mem参数以控制 DMS 何时将更改数据溢出到磁盘。有关更多信息，请参见 在 Aurora PostgreSQL 中泄露文件。

数据类型为 ARRAY 的表必须具有主键。缺少主键的 ARRAY 数据类型的表在完全加载期间会暂停。

Amazon DMS 不支持复制分区表。检测到分区表时，将显示以下内容：

要将分区表从 PostgreSQL 源复制到 PostgreSQL 目标，请先在目标上手动创建父表和子表。然后，定义单独的任务来向这些表进行复制。在这种情况下，请将任务配置设置为 Truncate before loading。

PostgreSQL NUMERIC 数据类型不是固定大小。当传输的数据属于 NUMERIC 数据类型，但没有精度和小数位数时，默认情况下，DMS 使用 NUMERIC(28,6)（精度为 28，小数位数为 6）。例如，源中的值 0.611111104488373 在 PostgreSQL 目标中将转换为 0.611111。

Amazon DMS 仅支持将 Aurora PostgreSQL Serverless V1 作为完全加载任务的源。Amazon DMS 支持将 Aurora PostgreSQL Serverless V2 作为完全加载、完全加载和 CDC 以及仅 CDC 任务的源。

Amazon DMS 不支持复制具有使用合并函数创建的唯一索引的表。

使用 LOB 模式时，源表和相应的目标表必须具有相同的主键。如果其中一个表没有主键，DELETE 和 UPDATE 记录操作的结果将不可预测。

使用并行加载功能时，不支持根据分区或子分区对表进行分段。有关并行加载的更多信息，请参阅对所选表、视图和集合使用并行加载。

Amazon DMS 不支持延迟约束。

Amazon DMS 3.4.7 版本支持使用 PostgreSQL 14.x 作为源，但存在以下限制：

Amazon DMS 不支持将适用于 PostgreSQL 的 Amazon RDS 代理作为源来执行 CDC。

使用不包含主键列的源过滤器时，不会捕获 DELETE 操作。

如果您的源数据库也是另一个第三方复制系统的目标，DDL 更改可能不会在 CDC 期间迁移。因为这种情况可能会防止触发 awsdms_intercept_ddl 事件触发器。要解决这种情况，请在源数据库上修改此触发器，如下所示：

alter event trigger awsdms_intercept_ddl enable always;

Amazon DMS 不支持将适用于 PostgreSQL 的 Amazon RDS Multi-AZ 数据库集群作为源来执行 CDC，因为 RDS for PostgreSQL 多可用区数据库集群不支持逻辑复制。

BLOB – 在创建任务时，将 LOB 大小限制为设置为最大 LOB 大小 (KB) 值。

CLOB – 复制将每个字符作为 UTF8 字符处理。因此，找到列中最长字符文本的长度，此处显示为 max_num_chars_text。使用此长度指定将 LOB 大小限制为的值。如果数据包含 4 字节字符，请乘以 2 以指定 Limit LOB size to (将 LOB 大小限制为) 值（以字节为单位）。在此示例中，Limit LOB size to (将 LOB 大小限制为) 等于 max_num_chars_text 乘以 2。

NCLOB – 复制将每个字符作为双字节字符处理。因此，找到列中最长字符文本的长度 (max_num_chars_text) 并乘以 2。执行此操作来指定将 LOB 大小限制为的值。在此示例中，Limit LOB size to (将 LOB 大小限制为) 等于 max_num_chars_text 乘以 2。如果数据包含 4 字节字符，请再次乘以 2。在此示例中，Limit LOB size to (将 LOB 大小限制为) 等于 max_num_chars_text 乘以 4。