使用Amazon DocumentDB（with MongoDB）作为来源Amazon DMS

Amazon DMS支持 Amazon DocumentDB（兼容 MongoDB）版本 3.6 和 4.0 作为数据库源。使用 Amazon DocumentDB 作为来源，您可以将数据从一个 Amazon DocumentDB 集群迁移到另一个Amazon DocumentDB umentD 您还可以将数据从 Amazon DocumentDB 集群迁移到支持的其他目标终端节点之一Amazon DMS。

如果您不熟悉 Amazon DocumentDB，请注意Amazon DocumentDB 数据库的以下重要概念：

Amazon DMS使用 Amazon DocumentDB 作为源时支持两种迁移模式：文档模式和表模式。在Amazon DMS控制台中创建 Amazon DocumentDB 源终端节点时，您可以使用元数据模式选项或额外连接属性指定迁移模式nestingLevel。下面，您可以找到迁移模式的选择如何影响目标数据的结果格式的解释。

设置使用Amazon DocumentDB 作为源的权限

使用 Amazon DocumentDB 源进行Amazon DMS迁移时，您可以创建具有根权限的用户账户。或者，您可以创建仅具有数据库迁移权限的用户。

以下代码将用户创建为根账户。

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  })
            

对于 Amazon DocumentDB 3.6，以下代码创建了一个对要迁移的数据库拥有最低权限的用户。

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "db_name" }, "read"] 
})                        
             

对于 Amazon DocumentDB 4.0 及更高版本，Amazon DMS使用部署范围的变更流。在这里，以下代码创建了一个具有最低权限的用户。

db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "readAnyDatabase", db: "admin" }] 
})
            

为亚马逊 DocumentDB 集群配置 CDC

要在 Amazon DocumentDB 中使用持续复制或 CDC，Amazon DMS需要访问Amazon DocumentDB 集群的变更流。有关集群集合和数据库中按时间顺序排列的更新事件的描述，请参阅 Amazon DocumentDB 开发者指南中的使用更改流。

使用 MongoDB 外壳对您的亚马逊 DocumentDB 集群进行身份验 然后运行以下命令以启用更改流。

db.adminCommand({modifyChangeStreams: 1,
    database: "DB_NAME",
    collection: "", 
    enable: true});
            

这种方法为数据库中的所有集合启用变更流。启用变更流后，您可以创建迁移任务，该任务可以迁移现有数据，同时复制正在进行的更改。 Amazon DMS即使在加载批量数据之后，仍能继续捕获和应用更改。最终，源数据库和目标数据库会同步，从而最大限度地减少迁移的停机时间。

使用 TLS 连接Amazon DocumentDB

默认情况下，新创建的 Amazon DocumentDB 集群仅接受使用传输层安全性协议（TLS）的安全性协议。启用 TLS 后，与 Amazon DocumentDB 的每个连接都需要一个公钥。

您可以通过rds-combined-ca-bundle.pem从Amazon托管的 Amazon S3 存储桶下载文件来检索 Amazon DocumentDB 的公钥。有关下载此文件的更多信息，请参阅 Amazon DocumentDB 开发者指南中的使用 TLS 加密连接。

下载rds-combined-ca-bundle.pem文件后，可以将其包含的公钥导入其中Amazon DMS。以下步骤介绍了如何完成此操作。

Amazon CLI以下示例使用Amazon DMSimport-certificate命令导入公钥rds-combined-ca-bundle.pem文件。

aws dms import-certificate \
    --certificate-identifier docdb-cert \
    --certificate-pem file://./rds-combined-ca-bundle.pem             
            

创建Amazon DocumentDB 源终端节点

您可以使用控制台或创建 Amazon DocumentDB 源端点Amazon CLI。在控制台上使用以下步骤。

在 CLI 中使用以下步骤。

对亚马逊 DocumentDB 集合进行分段parallel 迁移

为了提高迁移任务的性能，Amazon DocumentDB 源终端节点支持表映射中parallel 满载功能的两个选项。换句话说，您可以在 JSON 设置中使用表映射的自动分段或范围分段选项并parallel 迁移集合，以实现parallel 满负载。自动分段选项允许您指定标准，Amazon DMS以便在每个线程中自动对迁移源进行细分。范围分段选项允许您告知每个分段Amazon DMS的具体范围，以便 DMS 在每个线程中迁移。有关这些设置的更多信息，请参阅表和集合设置规则和操作。

使用自动分段范围parallel 迁移 Amazon DocumentDB 数据库

您可以通过指定自动对每个线程的数据进行分区（分段）的标准，尤其是每个线程Amazon DMS要迁移的文档数量，来parallel 迁移文档。使用这种方法，Amazon DMS尝试优化分段边界，以最大限度地提高每个线程的性能。

您可以使用表格映射中的表格设置选项指定分段标准：

以下示例显示了自动分段的表映射。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

自动分段有以下限制。每个分段的迁移分别获取集合计数和最小_id集合数。然后，它使用分页跳过来计算该分段的最小边界。因此，在计算出集合中的所有分段边界之前，请确保每个集合的最小_id值保持不变。如果您在计算集合的分段边界期间更改其最小_id值，这可能会导致数据丢失或重复行错误。

使用特定区段范围parallel 迁移 Amazon DocumentDB 数据库

以下示例显示了一个包含七个项目并_id作为主键的 Amazon DocumentDB 集合。

要将集合拆分为三个分段并parallel 迁移，您可以将表映射规则添加到迁移任务中，如以下 JSON 示例所示。

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings
           

该表映射定义将源集合分成三个段并parallel 迁移。以下是分段边界。

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 and not in (_id less-than-or-equal-to  "5f805c97873173399a278d79" and num less-than-or-equal-to 2) (3 records)
Data not in (_id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5) (2 records)
            

迁移任务完成后，您可以从任务日志中验证表是parallel 加载的，如以下示例所示。您还可以验证用于从源表中卸载每个分段的 Amazon DocumentDBfind 子句。

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

目前，Amazon DMS支持以下 Amazon DocumentDB 数据类型作为区段键列：

使用 Amazon DocumentDB 作为源时迁移多个数据库Amazon DMS

Amazon DMS版本 3.4.5 及更高版本仅支持在单个任务中迁移多个数据库，仅适用于 Amazon DocumentDB 版本 4.0 及更高版本。如果要迁移多个数据库，请执行以下操作：

例如，您可以指定以下 JSON 来迁移三个 Amazon DocumentDB 数据库。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include"
        }
    ]
}

使用Amazon DocumentDB 作为来源时的限制Amazon DMS

以下是使用 Amazon DocumentDB 作为来源时的限制Amazon DMS：

使用以 Amazon DocumentDB 作为源的终端节点设置

您可以使用终端节点设置来配置 Amazon DocumentDB 源数据库，就像使用额外的连接属性一样。您可以使用Amazon DMS控制台或使用中的create-endpoint命令使用--doc-db-settings '{"EndpointSetting": "value", ...}' JSON 语法创建源终端节点时指定设置。Amazon CLI

下表显示了您可以将 Amazon DocumentDB 作为源使用。

Amazon DocumentDB 的源数据类型

在下表中，您可以找到使用时支持的 Amazon DocumentDB 源数据类型Amazon DMS。您还可以在此表中找到Amazon DMS数据类型的默认映射。有关数据类型的更多信息，请参阅 MongoDB 文档中的 BSon 类型。

有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。

有关 Amazon DMS 数据类型的其他信息，请参阅DatAmazon abase Migration Service 数据类型。