将 MongoDB 作为 Amazon DMS 源

有关 Amazon DMS 支持作为源的 MongoDB 版本的信息，请参阅 Amazon DMS 的源。

请注意以下有关 MongoDB 版本支持的信息：

如果您是初次使用 MongoDB，请注意以下关于 MongoDB 数据库的重要概念：

将 MongoDB 作为源时，Amazon DMS 支持两种迁移模式：Document 模式或表模式。您可以在创建 MongoDB 端点时指定要使用的迁移模式，或者通过从 Amazon DMS 控制台设置元数据模式参数来指定。或者，您可以创建名为 _id 的第二列，通过在端点配置面板中选中将 _id 作为单独的列复选标记，将其作为主键。

您选择的迁移模式将影响目标数据的结果格式，如下所述。

将 MongoDB 作为 Amazon DMS 的源时所需的权限

对于使用 MongoDB 源的 Amazon DMS 迁移，您可以创建具有根权限的用户账户，也可以仅在要迁移的数据库上创建具有权限的用户。

以下代码创建将作为根账户的用户。

use admin
db.createUser(
  {
    user: "root",
    pwd: "password",
    roles: [ { role: "root", db: "admin" } ]
  }
)

对于 MongoDB 3.x 源，以下代码在要迁移的数据库上创建具有最低权限的用户。

use database_to_migrate
db.createUser( 
{ 
    user: "dms-user",
    pwd: "password",
    roles: [ { role: "read", db: "local" }, "read"] 
})

对于 MongoDB 4.x 源，以下代码创建具有最低权限的用户。

{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }

例如，在“admin”数据库中创建以下角色。

use admin
db.createRole(
{
role: "changestreamrole",
privileges: [
{ resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] }
],
roles: []
}
)

创建角色后，在要迁移的数据库中创建用户。

> use test
> db.createUser( 
{ 
user: "dms-user12345",
pwd: "password",
roles: [ { role: "changestreamrole", db: "admin" }, "read"] 
})

为 CDC 配置 MongoDB 副本集

要将持续复制或 CDC 用于 MongoDB，Amazon DMS 需要对 MongoDB 操作日志（oplog）的访问权限。要创建 oplog，您需要部署一个副本集 (如果没有副本集)。有关更多信息，请参阅 MongoDB 文档。

您可以将 CDC 用于作为源终端节点的 MongoDB 副本集的主要或次要节点。

如果您打算执行文档模式迁移，请在创建 MongoDB 终端节点时选择选项 _id as a separate column。通过选择此选项，将创建另一个名为 _id 的列以作为主键。Amazon DMS 需要第二列以支持数据操作语言 (DML) 操作。

将 MongoDB 作为 Amazon DMS 源时的安全要求

Amazon DMS 支持 MongoDB 的两种身份验证方法。这两种身份验证方法用于加密密码，因此它们仅在将 authType 参数设置为 PASSWORD 时使用。

MongoDB 身份验证方法如下：

如果未指定身份验证方法，Amazon DMS 将使用 MongoDB 源版本的默认方法。

对 MongoDB 集合进行分段并以并行方式迁移

为了提高迁移任务的性能，MongoDB 源端点支持表映射中的并行完全加载的两个选项。

换句话说，在 JSON 设置中，对于并行完全加载，您可以使用表映射的自动分段或范围分段来迁移集合。使用自动分段，您可以为 Amazon DMS 指定标准，以自动在每个线程中对源分段用于迁移。使用范围分段，您可以告知 Amazon DMS 每个区段的特定范围，以便 DMS 在每个线程中进行迁移。有关这些设置的更多信息，请参阅表和集合设置规则和操作。

使用自动分段范围并行迁移 MongoDB 数据库

您可以并行迁移文档，方法是为 Amazon DMS 指定标准，以便为每个线程自动分区（分段）数据。具体而言，您指定每个线程要迁移的文档数量。使用这种方法，Amazon DMS 尝试优化区段边界，以最大限度地提高每个线程的性能。

您可以在表映射中，使用以下表设置选项来指定分段标准：

以下示例显示了自动分段的表映射。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "table-settings",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "admin",
                "table-name": "departments"
            },
            "parallel-load": {
                "type": "partitions-auto",
                "number-of-partitions": 5,
                "collection-count-from-metadata": "true",
                "max-records-skip-per-page": 1000000,
                "batch-size": 50000
            }
        }
    ]
}

自动分段有以下限制。每个区段的迁移分别提取集合计数和集合的最小 _id。然后，它使用分页跳过来计算该区段的最小边界。

因此，请确保每个集合的最小 _id 值保持不变，直到计算出集合中的所有区段边界。如果在区段边界计算期间更改集合的最小 _id 值，则会导致数据丢失或重复行错误。

使用范围分段并行迁移 MongoDB 数据库

您可以通过为线程中的每个区段指定范围来并行迁移文档。使用这种方法，您可以根据为每个线程选择的文档范围，告知 Amazon DMS 要在每个线程中迁移的特定文档。

下图显示了包含七个项目并将 _id 作为主键的 MongoDB 集合。

要将集合拆分为三个特定区段供 Amazon DMS 并行迁移，您可以在迁移任务中添加表映射规则。此方法如以下 JSON 示例所示。

{ // Task table mappings:
  "rules": [
    {
      "rule-type": "selection",
      "rule-id": "1",
      "rule-name": "1",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "rule-action": "include"
    }, // "selection" :"rule-type"
    {
      "rule-type": "table-settings",
      "rule-id": "2",
      "rule-name": "2",
      "object-locator": {
        "schema-name": "testdatabase",
        "table-name": "testtable"
      },
      "parallel-load": {
        "type": "ranges",
        "columns": [
           "_id",
           "num"
        ],
        "boundaries": [
          // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79
          // and num less-than-or-equal-to 2.
          [
             "5f805c97873173399a278d79",
             "2"
          ],
          // Second segment selects documents with _id > 5f805c97873173399a278d79 and
          // _id less-than-or-equal-to 5f805cc5873173399a278d7c and
          // num > 2 and num less-than-or-equal-to 5.
          [
             "5f805cc5873173399a278d7c",
             "5"
          ]                                   
          // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c.
        ] // :"boundaries"
      } // :"parallel-load"
    } // "table-settings" :"rule-type"
  ] // :"rules"
} // :Task table mappings

该表映射定义将源集合拆分为三个区段以并行迁移。以下是分段边界。

Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records)
Data with _id > "5f805c97873173399a278d79" and num > 2 and _id  less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records)
Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)    
            

迁移任务完成后，您可以从任务日志中验证表是否并行加载，如以下示例所示。您还可以验证用于从源表中卸载每个区段的 MongoDB find 子句。

[TASK_MANAGER    ] I:  Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86  (replicationtask_util.c:752)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is initialized.   (mongodb_unload.c:157)

[SOURCE_UNLOAD   ] I:  Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } }  (mongodb_unload.c:328)

[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TASK_MANAGER    ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752)
 
[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) 

[SOURCE_UNLOAD   ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328)
 
[SOURCE_UNLOAD   ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent.

[TARGET_LOAD     ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480.

[TASK_MANAGER    ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
            

目前，Amazon DMS 支持将以下 MongoDB 数据类型作为区段键列：

使用 MongoDB 作为 Amazon DMS 的源时迁移多个数据库

对于所有支持的 MongoDB 版本，Amazon DMS 版本 3.4.5 及更高版本支持在单个任务中迁移多个数据库。如果您要迁移多个数据库，请采取以下步骤：

例如，您可以指定以下 JSON 以迁移三个 MongoDB 数据库。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "Customers",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "2",
            "rule-name": "2",
            "object-locator": {
                "schema-name": "Orders",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        },
        {
            "rule-type": "selection",
            "rule-id": "3",
            "rule-name": "3",
            "object-locator": {
                "schema-name": "Inventory",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}                

将 MongoDB 作为 Amazon DMS 源时的限制

将 MongoDB 作为 Amazon DMS 源时，存在以下限制：

使用 MongoDB 作为 Amazon DMS 的源时的端点配置设置

在设置 MongoDB 源端点时，您可以使用 Amazon DMS 控制台指定多个端点配置设置。

下表介绍了将 MongoDB 数据库作为 Amazon DMS 的源时的可用配置设置。

如果您选择文档作为元数据模式，则可以使用不同的选项。

如果目标端点是 DocumentDB，请确保在文档模式下运行迁移。此外，修改您的源端点并选择选项将 _id 作为单独的列。如果您的源 MongoDB 工作负载涉及事务，则这是必需的先决条件。

MongoDB 的源数据类型

将 MongoDB 作为 Amazon DMS 源的数据迁移支持大多数 MongoDB 数据类型。在下表中，您可以找到使用 Amazon DMS 时支持的 MongoDB 源数据类型以及来自 Amazon DMS 数据类型的默认映射。有关 MongoDB 数据类型的更多信息，请参阅 MongoDB 文档中的 BSON 类型。

有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。

有关 Amazon DMS 数据类型的其他信息，请参阅Amazon Database Migration Service 的数据类型。