使用 Aurora 的 PostgreSQL 逻辑复制

为 Aurora PostgreSQL 数据库集群设置 PostgreSQL 逻辑复制

1. 登录 Amazon Web Services Management Console 并通过以下网址打开 Amazon RDS 控制台：https://console.aws.amazon.com/rds/。

2. 在导航窗格中，选择您的 Aurora PostgreSQL 数据库集群。

3. 打开 Configuration（配置）选项卡。在实例详细信息中，找到包含类型为数据库集群参数组的参数组链接。

4. 选择此链接以打开与 Aurora PostgreSQL 数据库集群关联的自定义参数。

5. 在 Parameters（参数）搜索字段中，键入 rds 以查找 rds.logical_replication 参数。此参数的原定设置值为 0，这意味着它在原定设置情况下处于关闭状态。

6. 选择 Edit parameters（编辑参数）以访问属性值，然后从选择器中选择 1 以开启该功能。根据您的预期使用情况，您可能还需要更改以下参数的设置。但是，在许多情况下，原定设置值就足够了。

   • max_replication_slots – 将此参数设置为至少等于您计划的逻辑复制发布和订阅总数的值。如果您正在使用 Amazon DMS，则此参数应至少等于集群中计划的更改数据捕获任务数加上逻辑复制发布和订阅数。

   • max_wal_senders 和 max_logical_replication_workers – 将这些参数设置为至少与您打算激活的逻辑复制插槽数量或更改数据捕获的活动 Amazon DMS 任务数量相等的值。使逻辑复制插槽处于非活动状态可防止 vacuum 从表中删除过时的元组，因此，我们建议您监视复制插槽，并根据需要删除非活动的插槽。

   • max_worker_processes – 将此参数设置为至少等于 max_logical_replication_workers、autovacuum_max_workers 和 max_parallel_workers 值的总和的值。在小型数据库实例类上，后台工件进程可能会影响应用程序工作负载，因此，如果将 max_worker_processes 设置为高于原定设置值，请监控数据库的性能。（原定设置值是 GREATEST(${DBInstanceVCPU*2},8} 的结果，这意味着，在原定设置情况下，这是 8 或数据库实例类的 CPU 等效量的 2 倍，以较大者为准）。

   注意

   您可以修改客户创建的数据库参数组中的参数值，但不能更改原定设置数据库参数组中的参数值。

7. 选择保存更改。

8. 重启 Aurora PostgreSQL 数据库集群的写入器实例，以使更改生效。在 Amazon RDS 控制台中，选择集群的主数据库实例，然后从 Actions（操作）菜单中选择 Reboot（重启）。

9. 当实例可用时，您可以验证逻辑复制是否已开启，如下所示。

   1. 使用 psql 连接到 Aurora PostgreSQL 数据库集群的写入器实例。

      psql --host=your-db-cluster-instance-1.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password --dbname=labdb

   2. 使用以下命令验证逻辑复制是否已启用。

      labdb=> SHOW rds.logical_replication;
       rds.logical_replication
      -------------------------
       on
      (1 row)

   3. 验证 wal_level 设置为 logical。

      labdb=> SHOW wal_level;
        wal_level
      -----------
       logical
      (1 row)

关闭逻辑复制

1. 删除所有复制插槽。

   要删除所有复制插槽，请连接到发布者并运行以下 SQL 命令。

   SELECT pg_drop_replication_slot(slot_name)
     FROM pg_replication_slots
    WHERE slot_name IN (SELECT slot_name FROM pg_replication_slots);

   运行此命令时，复制插槽不能处于活动状态。

2. 修改与发布者关联的自定义数据库集群参数组（如为 Aurora PostgreSQL 数据库集群设置逻辑复制详述），但将 rds.logical_replication 参数设置为 0。

   有关自定义数据库参数组的更多信息，请参阅修改数据库集群参数组中的参数。

3. 重启发布者 Aurora PostgreSQL 数据库集群，以使对 rds.logical_replication 参数的更改生效。

在两个 Aurora PostgreSQL 数据库集群之间启动逻辑复制过程

这些步骤假设您的 Aurora PostgreSQL 数据库集群有一个写入器实例，其中包含一个用于创建示例表的数据库。

1. 在发布者 Aurora PostgreSQL 数据库集群上

   1. 使用以下 SQL 语句创建一个表。

      CREATE TABLE LogicalReplicationTest (a int PRIMARY KEY);

   2. 使用以下 SQL 语句将数据插入到发布者数据库。

      INSERT INTO LogicalReplicationTest VALUES (generate_series(1,10000));

   3. 使用以下 SQL 语句验证表中是否存在数据。

      SELECT count(*) FROM LogicalReplicationTest;

   4. 使用 CREATE PUBLICATION 语句为此表创建发布，如下所示。

      CREATE PUBLICATION testpub FOR TABLE LogicalReplicationTest;

2. 在订阅者 Aurora PostgreSQL 数据库集群上

   1. 在订阅者上创建与在发布者上创建的同一个 LogicalReplicationTest 表，如下所示。

      CREATE TABLE LogicalReplicationTest (a int PRIMARY KEY);

   2. 验证此表为空。

      SELECT count(*) FROM LogicalReplicationTest;

   3. 创建订阅以获取来自发布者的更改。您需要使用以下有关发布者 Aurora PostgreSQL 数据库集群的详细信息。

      • host – 发布者 Aurora PostgreSQL 数据库集群的写入器数据库实例。

      • port – 写入器数据库实例正在侦听的端口。PostgreSQL 的默认值为 5432。

      • dbname – 数据库的名称。

      CREATE SUBSCRIPTION testsub CONNECTION 
         'host=publisher-cluster-writer-endpoint port=5432 dbname=db-name user=user password=password' 
         PUBLICATION testpub; 
      

      注意

      作为安全最佳实践，请指定除此处所示提示以外的密码。

      创建订阅后，将在发布者上创建逻辑复制槽。

   4. 要验证此示例中的初始数据是否在订阅者上复制，请在订阅者数据库中使用以下 SQL 语句。

      SELECT count(*) FROM LogicalReplicationTest;

使用 Amazon DMS 进行 Aurora PostgreSQL 的逻辑复制

1. 准备发布者数据库来与 Amazon DMS 一起工作。

   要实现此目的，PostgreSQL 10.x 及更高版本的数据库需要您对发布者数据库应用 Amazon DMS 封装函数。有关此步骤以及后续步骤的详细信息，请参阅《Amazon Database Migration Service 用户指南》的将 PostgreSQL 版本 10.x 及更高版本用作 Amazon DMS 的源中的说明。

2. 通过以下网址登录 Amazon Web Services Management Console并打开 Amazon DMS 控制台：https://console.amazonaws.cn/dms/v2。在右上方，选择发布者和订阅者所位于的相同 Amazon 区域。

3. 创建 Amazon DMS 复制实例。

   选择与发布者的写入器数据库实例的值相同的值。包括以下设置：

   • 对于 VPC，选择与写入器数据库实例相同的 VPC。

   • 对于 Replication Subnet Group（复制子网组），选择与写入器数据库实例具有相同值的子网组。如有必要，请创建一个新的子网组。

   • 对于 Availability zone (可用区)，选择与写入器数据库实例相同的区域。

   • 对于 VPC Security Group (VPC 安全组)，选择与写入器数据库实例相同的组。

4. 为源创建 Amazon DMS 终端节点。

   使用以下设置将发布者指定为源终端节点：

   • 对于 Endpoint type (终端节点类型)，选择 Source endpoint (源终端节点)。

   • 选择 Select RDS DB Instance (选择 RDS 数据库实例)。

   • 对于 RDS Instance (RDS 实例)，选择发布者的写入器数据库实例的数据库标识符。

   • 对于 Source engine (源引擎)，选择 postgres。

5. 为目标创建 Amazon DMS 终端节点。

   使用以下设置将订阅者指定为目标终端节点：

   • 对于 Endpoint type (终端节点类型)，选择 Target endpoint (目标终端节点)。

   • 选择 Select RDS DB Instance (选择 RDS 数据库实例)。

   • 对于 RDS Instance (RDS 实例)，选择订阅者数据库实例的数据库标识符。

   • 为 Source engine (源引擎) 选择值。例如，如果订阅者是 RDS PostgreSQL 数据库，则选择 postgres。如果订阅者是 Aurora PostgreSQL 数据库，请选择 aurora-postgresql。

6. 创建 Amazon DMS 数据库迁移任务。

   您使用数据库迁移任务指定要迁移的数据库表，使用目标架构映射数据并在目标数据库上创建新表。至少为 Task configuration (任务配置) 使用以下设置：

   • 对于 Replication instance (复制实例)，选择您在之前的步骤中创建的复制实例。

   • 对于 Source database endpoint (源数据库终端节点)，选择您在之前的步骤中创建的发布者源。

   • 对于 Target database endpoint (目标数据库终端节点)，选择您在之前的步骤中创建的订阅者目标。

   其余任务详细信息取决于您的迁移项目。有关为 DMS 任务指定所有详细信息的更多信息，请参阅 Amazon Database Migration Service 用户指南中的使用 Amazon DMS 任务。