将 MongoDB 作为 Amazon DMS 源

Amazon DMS支持 MongoDB 版本 3.x 和 4.0 作为数据库源。从Amazon DMS 3.4.5 开始，Amazon DMS支持 MongoDB 版本 4.2 和 4.4。从 MongoDB 版本 4.2 开始，Amazon DMS3.4.5 及更高版本支持分布式事务。有关 MongoDB 分布式事务的更多信息，请参阅 MongoDB 中的事务。

如果您是初次使用 MongoDB，请注意以下关于 MongoDB 数据库的重要概念：

Amazon DMS使用 MongoDB 作为源时支持两种迁移模式，即文档模式或表模式。您可以在创建 MongoDB 终端节点时或通过从Amazon DMS控制台设置元数据模式参数来指定要使用的迁移模式。或者，您可以通过在端点配置面板_id中选择 _id 的复选标记按钮作为单独的列来创建第二列，该列用作主键。

您选择的迁移模式会影响目标数据的结果格式，如下所述。

将 MongoDB 作为 Amazon DMS 的源时所需的权限

对于使用 MongoDB 源的 Amazon DMS 迁移，您可以创建具有根权限的用户账户，也可以仅在要迁移的数据库上创建具有权限的用户。

以下代码创建将作为根账户的用户。

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

对于 MongoDB 3.x 源代码，以下代码创建了对要迁移的数据库具有最低权限的用户。

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

对于 MongoDB 4.x 源代码，以下代码创建了一个具有最低权限的用户。

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

例如，在 “管理员” 数据库中创建以下角色。

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

创建角色后，在数据库中创建要迁移的用户。

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

为 CDC 配置 MongoDB 副本集

要在 MongoDB 中使用持续复制或 CDC，Amazon DMS需要访问 MongoDB 操作日志 (oplog)。要创建 oplog，您需要部署一个副本集 (如果没有副本集)。有关更多信息，请参阅 MongoDB 文档。

您可以将 CDC 用于作为源终端节点的 MongoDB 副本集的主要或次要节点。

如果您打算执行文档模式迁移，请在创建 MongoDB 终端节点时选择选项 _id as a separate column。通过选择此选项，将创建另一个名为 _id 的列以作为主键。Amazon DMS 需要第二列以支持数据操作语言 (DML) 操作。

将 MongoDB 作为 Amazon DMS 源时的安全要求

AmazonDMS 支持 MongoDB 的两种身份验证方法。这两种身份验证方法用于加密密码，因此它们仅在将 authType 参数设置为 PASSWORD 时使用。

MongoDB 身份验证方法如下：

如果未指定身份验证方法，则Amazon DMS 使用 MongoDB 源版本的默认方法。

分段 MongoDB 集合并parallel 迁移

为了提高迁移任务的性能，MongoDB 源端点支持两种在表映射中实现parallel 满载的选项。

换句话说，您可以在 JSON 设置中使用自动分段或带表映射的范围分段来并parallel 迁移集合，以实现parallel 满负载。使用自动分段，您可以指定标准，Amazon DMS以便在每个线程中自动细分要迁移的来源。通过范围分段，您可以分辨出每个分段Amazon DMS的具体范围，以便 DMS 在每个线程中迁移。有关这些设置的更多信息，请参阅表和集合设置规则和操作。

使用自动分段范围parallel 迁移 MongoDB 数据库

您可以通过指定自动对每个线程的数据进行分区（分段）的标准Amazon DMS来parallel 迁移文档。特别是，您可以指定每个线程要迁移的文档数。使用这种方法，Amazon DMS尝试优化分段边界，以最大限度地提高每个线程的性能。

您可以使用表格映射中的表格设置选项指定分段标准。

以下示例显示了自动分段的表映射。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

自动分段有以下限制。每个分段的迁移分别获取集合计数和最小_id集合数。然后，它使用分页跳过来计算该分段的最小边界。

因此，在计算出集合中的所有分段边界之前，请确保每个集合的最小_id值保持不变。如果您在计算集合的分段边界期间更改其最小_id值，则可能导致数据丢失或重复行错误。

使用范围分段parallel 迁移 MongoDB 数据库

您可以通过指定话题中每个分段的范围来parallel 迁移文档。使用这种方法，您可以根据您选择Amazon DMS的每个线程的文档范围，在每个线程中指定要迁移的特定文档。

下图显示了一个包含七个项目并_id作为主键的 MongoDB 集合。

要将集合拆分为三个特定的分段Amazon DMS以进行parallel 迁移，可以在迁移任务中添加表映射规则。以下 JSON 示例中显示了此方法。

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

该表映射定义将源集合分成三个段并parallel 迁移。以下是分段边界。

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

迁移任务完成后，您可以从任务日志中验证表是parallel 加载的，如以下示例所示。您还可以验证用于从源表中卸载每个段的 MongoDBfind 子句。

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

目前，Amazon DMS支持以下 MongoDB 数据类型作为分段键列：

使用 MongoDB 作为源时迁移多个数据库Amazon DMS

Amazon DMS版本 3.4.5 及更高版本支持在单个任务中迁移所有支持的 MongoDB 版本的多个数据库。如果要迁移多个数据库，请执行以下步骤：

例如，您可以指定以下 JSON 来迁移三个 MongoDB 数据库。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

将 MongoDB 作为 Amazon DMS 源时的限制

将 MongoDB 作为 Amazon DMS 源时，存在以下限制：

使用 MongoDB 作为源时的端点配置设置Amazon DMS

设置 MongoDB 源终端节点时，可以使用Amazon DMS控制台指定多个端点配置设置。

下表描述了使用 MongoDB 数据库作为Amazon DMS源时可用的配置设置。

如果您选择 “文档作为元数据” 模式，则有不同的选项可用。

如果目标端点是 DocumentDB，请确保在文档模式下运行迁移。另外，修改您的源终端节点并选择 _id 选项作为单独的列。如果您的源 MongoDB 工作负载涉及事务，则这是必需的先决条件。

MongoDB 的源数据类型

将 MongoDB 作为 Amazon DMS 源的数据迁移支持大多数 MongoDB 数据类型。在下表中，您可以找到使用 Amazon DMS 时支持的 MongoDB 源数据类型以及来自 Amazon DMS 数据类型的默认映射。有关 MongoDB 数据类型的更多信息，请参阅 MongoDB 文档中的 BSON 类型。

有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。

有关 Amazon DMS 数据类型的其他信息，请参阅DatAmazon abase Migration Service 数据类型。